(57)【要約】【課題】　異種の受信ベースにスケーラブルな符号化メディアデータを配信する。【解決手段】　スケーラブルな符号化メディア元データを、第１の部分と第２の部分を含むフォーマットにフォーマット化する。第１の部分は、符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性と、第２の部分のデータ構造情報に対応する。第２の部分は、一次元のメディアタイプ非固有の索引付け可能データ構造に配列されたスケーラブルな符号化メディア元データに対応する。メディア宛先に配信する前に、データ構造情報を使用してフォーマット済のスケーラブルな符号化メディア元データをコード変換し、スケーラビリティ属性と受信属性のマッチングに基づいて、フォーマット済のスケーラブルな符号化メディア元データのスケーリング版を生成する。コード変換されたメディアデータは、メディア宛先の受信属性に適合する。　【選択図】図１０
2004046879.tif 000002
【特許請求の範囲】
【請求項１】
　符号化されたスケーラブルなメディアデータを配信する方法であって、
　少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディア元データに対応する第２の部分とを含むフォーマットに、スケーラブルな符号化メディア元データをフォーマットし、
　スケーラブルな符号化メディアの少なくとも１つのタイプのメディア宛先の受信属性に対応する情報を提供し、
　前記フォーマット済のメディアデータを前記メディア宛先に配信する前にコード変換して、前記スケーラビリティ属性と前記受信属性とのマッチングに基づいて、前記メディア宛先の前記受信属性に適合するように前記フォーマット済メディアデータのスケーリング版を生成することを含む方法。
【請求項２】
　スケーラブルな符号化メディアデータを配信するシステムであって、
　少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディア元データに対応する第２の部分とを含むフォーマットで、スケーラブルな符号化メディア元データを提供するメディア発信元と、
　スケーラブルな符号化メディアの少なくとも１つのタイプのメディア宛先の受信属性に対応する情報を提供するメディア宛先と、
　前記スケーラビリティ属性と前記受信属性とのマッチングに基づいて、前記フォーマット済のスケーラブルな符号化メディア元データを前記メディア宛先に配信する前にコード変換して、前記フォーマット済のスケーラブルな符号化メディア元データのスケーリング版を生成するトランスコーダと、
　を備えるシステム。
【請求項３】
　少なくとも符号化メディア元データのメディアタイプ非固有スケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディア元データに対応する前記第２の部分とを含む、フォーマット済のスケーラブルなメディアビットストリームを受信し、
　スケーラブルな符号化メディアの少なくとも１つのタイプのメディア宛先の受信属性に対応する情報を受信し、
　前記スケーラビリティ属性と前記受信情報とを比較し、
　該比較に応じて、前記ビットストリーム部分集合の打ち切り、ドロップ、および再配列のうちの１つを行って、前記メディア宛先に適合された前記フォーマット済のスケーラブルな符号化メディア元データのスケーリング版を前記データ構造情報を使用して生成することを含む、コード変換方法。
【請求項４】
　スケーラブルな符号化メディアビットストリームのフォーマットであって、
　少なくとも符号化メディア元データのメディアタイプ非固有スケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、
　少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディアデータに対応する第２の部分と、
　を含むフォーマット。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明はメディアデータの配信に関し、特に、様々な受信属性を有するメディア宛先にあらゆるタイプのスケーラブルな（scalable：拡縮可能な）符号化メディアを配信するシステム、方法およびそれらのフォーマットに関する。
【背景技術】
【０００２】
　今日、ユーザは、ハンドヘルドから強力なワークステーションまで多岐にわたる装置を使用して、５６Ｋｂｐｓモデムから高速１００Ｍｂ／ｓイーサネットに至る接続によってインターネットにアクセスする。利用可能な帯域能力、表示能力および処理能力は成長し続けているが、多様さおよび機能の広がりはいつも存在する。他方、帯域や他の要因は成長し続けているため、ユーザに配信されるメディアの豊富さも増加している。
【０００３】
　このような状況においては、解像度や品質が固定されているだけの伸張コンテンツを生成する厳密なメディア表現フォーマットは、明らかに不適当である。このような圧縮方式に基づく配信システムは、コンテンツに関心を持つユーザのほんの一部にしか満足にコンテンツを配信することができない。残りのユーザは、全く何も受信することができないか、またはそれぞれのネットワーク接続および／またはアクセス装置の能力に比して低い品質および／または解像度で受信することになる。このように多様性への対応が不可能であることは、新しく豊富なメディアの成長を妨げる決定要因である。なぜなら、かかる豊富なコンテンツを提供することができるのは、全体のほんの一部であるパワーユーザのみだからである。シームレスなコンテンツの適合に適切に焦点を合わせなければ、メディアのアクセス可能性および使用可能性は常に厳しく制限されることになろう。
【０００４】
　様々な能力や好みを持つユーザにメディアコンテンツを提供する既知の手法の１つは、様々な能力や好みに適した複数のバージョンのメディアを提供することである。この手法は、受信側がメディア発信側に直接接続する配信モデルではうまくいくが、他のマルチホップ多数受信者配信シナリオでは、かなりの冗長性および非効率性が導入され、帯域や記憶領域の無駄につながる。これは特に、メディア作成者が大規模な消費者ベースに対し広範な選択肢を提供したいため、種々の点で異なる多数のバージョンを維持する必要がある場合に当てはまる。
【０００５】
　上記問題を克服するために、スケーラブルな圧縮フォーマットが提案された。スケーラブルな圧縮表現は、所与のユーザの計算能力および接続速度に関してマルチメディアの経験（experience）を自動的に最大化することにより、すべてのユーザに順応することができる。高速接続を有するハイエンドマシン用に書かれた豊富なメディアコンテンツを、より低速の接続を有する性能の劣るマシンに適合させることにより、上述したように別のシナリオ用の別のバージョンを作成することに伴うオーバヘッドを事実上解消することができる。さらに、現在において可能な限り高品質で作成されたコンテンツは、スケーラブルなフォーマットで表現されれば「時代を超越した」ものであり続け、その提供する経験は、マシンの能力および接続速度の向上につれて徐々に増大する。
【０００６】
　スケーラブルな圧縮表現の一例は、ＪＰＥＧ２０００である。ＪＰＥＧ２０００は静止画像用のスケーラブルな標準であり、品質のスケーラビリティと解像度のスケーラビリティをＪＰＥＧ２０００圧縮データに固有のフォーマットで組み合わせ、様々な接続および装置による配信および閲覧を可能としている。しかし、フォーマットのスケーラビリティの恩恵を得るためには、ＪＰＥＧ２０００コンテンツのコード変換および異種の受信者ベースへの配信を特にサポートする社会基盤（infrastructures）を開発し展開する必要がある。
【０００７】
　近年、インターネットや無線を介したストリーミング映像の配信に大きな関心が集まっている。このため、ストリーミング映像等のメディアコンテンツを異種の受信ベースへ配信するために、様々な形態のスケーラビリティを組み込んだＭＰＥＧ−Ｘ（ほとんどＭＰＥＧ−４）およびＨ．２６Ｘファミリの映像標準が開発された。しかし、インターネットによるこのタイプのスケーラブルな映像は、少数の異なるタイプの接続用に複数のバージョンを維持することに限定されている。これは、スケーラブルな映像フォーマットの伝送をサポートする完全な社会基盤が存在しないためである。
【０００８】
　あらゆる社会基盤の布設は高価であり、かつ支援企業または支援共同企業体からの多額の資金協力が必要である。フォーマットの安定性を保証するために、コンテンツを表現するフォーマットを標準化することも望ましい。他方、標準化が効果を現すには数年かかり、マルチメディア業界の通常の変化のペースに対応する年月よりもはるかに長い。従来の画像、映像およびオーディオを越える新しいタイプのメディアが進化するにつれ、それぞれの表現をサポートする標準を予測することがますます困難になる。あらゆる新タイプのメディア毎にスケーラブルなフォーマットを進化させる場合であっても、コンテンツ構造の不可避の相違により、異なるタイプのメディアのスケーラブルな配信のために異なる社会基盤を使用する必要がある。それに伴う費用は、このような新しいメディアの採用やスケーラビリティ特徴のサポート可能性において非常に大きな障害となる。
【０００９】
　メディアのタイプに応じて考案可能である様々なタイプのビットストリーム・スケーラビリティがある。例えば、ＳＮＲ（品質）スケーラビリティとは、含まれるビットストリームが多くなるにつれて漸進的に高くなる品質を指し、大半のタイプのメディアに適用される。解像度スケーラビリティとは、空間データサンプリングの粒度（fineness）を指し、画像、映像、３Ｄ等の視覚メディアに適用される。時間スケーラビリティとは、時間領域でのサンプリングの粒度を指し、映像および他の画像シーケンスに適用される。チャネル数およびサンプリング周波数等、オーディオに関するいくつかのタイプのスケーラビリティがある。将来、より新しく豊富であり、よりインタラクティブなタイプのメディアの進化によって、今のところ未知のより新しいタイプのスケーラビリティが生まれるであろう。スケーラブルなビットストリームは、常に単一タイプのスケーラビリティを有するわけではない。適合の選択の幅を提供するために、異なるタイプのスケーラビリティが同時に存在し得る。
【００１０】
　新しく豊富なメディアでは、異なるメディア要素がしばしば一緒にバンドルされて、複合メディア体験を提供する。既知の一技術によれば、オーディオ注釈付きの画像およびある種のアニメーションは、３つのメディア要素（画像、オーディオクリップ、いくつかのアニメーションデータ）を使用してプレゼンテーションの複合体験を提供する。このような豊富な複合メディアモデルは、メディアに固有のさらに新しいタイプのスケーラビリティにつながる。これは、複合体の特定の非重要な要素が、受信側の限られた資源内の他のより重要な要素に対処するために削られることがあるためである。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
　本発明は、異種の受信ベースにスケーラブルな符号化メディアデータを配信するためのシステム、方法、およびこれらのフォーマットであり、配信中のメディアのタイプに非固有であり、これによってすべてのタイプの現在既知のメディアおよび将来のメディアを配信する単一の配信基盤を要求するシステム、方法、およびこれらのフォーマットを提供する。
【課題を解決するための手段】
【００１２】
　符号化されたスケーラブルなメディアデータを配信するシステム、方法およびフォーマットが提供される。配信方法の第１の実施形態によれば、スケーラブルな符号化メディア元データを、第１の部分および第２の部分を含むフォーマットにフォーマット化する。第１の部分は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性と、第２の部分のデータ構造情報に対応する。第２の部分は、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能データ構造に配列されたスケーラブルな符号化メディア元データに対応する。さらに、メディア宛先によるスケーラブルな符号化メディアの受信属性に対応する情報を提供することができる。メディア宛先に配信する前に、データ構造情報を使用してフォーマット済のスケーラブルな符号化メディア元データをコード変換し、スケーラビリティ属性と受信属性のマッチングに基づいて、フォーマット済のスケーラブルな符号化メディア元データのスケーリング版を生成する。コード変換されたメディアデータは、メディア宛先の受信属性に適合する。
【００１３】
　配信方法の第２の実施形態によれば、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能データ構造に配列されたスケーラブルな符号化メディア元データに対応する第２の部分とを含む、複数のビットストリーム部分集合を含むフォーマット済スケーラブルなメディアビットストリームを受信するコード変換方法が提供される。さらに、メディア宛先によるスケーラブルな符号化メディアの少なくとも１つのタイプの受信属性に対応する情報が受信される。スケーラビリティ属性および受信情報を比較し、比較に応じてビットストリームのビットストリーム部分集合の打ち切り（truncation）、ドロップ（drop）、および再配列（rearrange）のいずれかを実行し、データ構造情報を使用して、メディア宛先に適合させたフォーマット済スケーラブルな符号化メディア元データのスケーリング版を生成する。
【００１４】
　符号化スケーラブルなメディアデータを配信するシステムの一実施形態は、メディア発信元、メディア宛先およびトランスコーダを備える。メディア発信元は、第１の部分および第２の部分を含むフォーマットでスケーラブルな符号化メディアデータを提供する。第１の部分は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応する。第２の部分は、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列されたスケーラブルな符号化メディア元データに対応する。メディア宛先は、メディア宛先によるスケーラブルな符号化メディアの少なくとも１つのタイプの受信属性に対応する情報を提供する。別の実施形態では、受信属性情報は、メディア宛先の好みに対応する情報を含む。トランスコーダは、フォーマット済のスケーラブルな符号化メディア元データをメディア宛先に配信する前にコード変換し、スケーラビリティ属性と受信属性とのマッチングに基づいて、データ構造情報を使用してフォーマット済スケーラブルな符号化メディア元データのスケーリング版を生成する。
【００１５】
　第１の部分および第２の部分を含むスケーラブルな符号化メディアビットストリーム用フォーマットが提供される。第１の部分は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応し、第２の部分は、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能データ構造に配列されたスケーラブルな符号化メディア元データに対応する。
【発明を実施するための最良の形態】
【００１６】
　一般に、本発明は、スケーラブルな符号化メディアビットストリームを配信し、またスケーラブルな符号化メディアビットストリームに対し汎用（すなわち、メディアタイプ非固有の）フォーマットを提供するシステムおよび方法である。本システム、方法およびフォーマットは、受信能力、メディア宛先の受信能力に基づいて適合された好み、並びにフォーマット済のスケーラブルな符号化メディアビットストリームのメディア固有およびメディア非固有のスケーラビリティ属性といった、様々な受信属性を有するメディア宛先にシームレスで柔軟性のある配信を提供する。本システムおよび方法は、将来進化するあらゆる新種類のスケーラブルなメディアの適合および配信をサポートするように拡張可能である。
【００１７】
　スケーラブルな符号化メディアビットストリームは、グループ化されると、品質、解像度等、メディアビットストリームの特定のスケーラブル属性の様々なスケールを有するメディア表現を生成することができるビットストリームのより小さな複数の符号化部分集合で構成される符号化ビットストリームと一般に定義される。例えば、複数の符号化部分集合を含むスケーラブルな符号化ビットストリームが解像度に関連する場合、すべての符号化部分集合は、最高解像度表現を提供する。部分集合を（中間ビットストリームにおいて）ドロップすることにより、または部分集合を（ビットストリームの終わりから）打ち切る（truncate）ことにより、より低い解像度を得ることができ、部分集合を再びドロップ／打ち切ることによってさらに低い解像度を得ることができる。部分集合をドロップ／打ち切りした後、残りのビットストリーム部分集合を再びパッキングして、ドロップした部分集合の位置について調整する。一般に、部分集合をドロップ、打ち切り、および再配列する動作は、一般にコード変換演算と呼ばれる。
【００１８】
　本発明によれば、スケーラブルなビットストリームが二種類以上のスケーラビリティを有することが可能なことを理解されたい。さらに、異なるタイプのスケーラビリティ（例えば、信号対雑音比（ＳＮＲ））、解像度、時間、インタラクティブ性）を異なるタイプのメディアに適用することができる。加えて、スケーラブルな符号化ビットストリームは、入れ子になった（ネストした）スケーラビリティの階層を含む。
【００１９】
　スケーラブルな符号化メディアビットストリームの生成は、メディア配信の分野において既知である。例えば、ＪＰＥＧ２０００画像圧縮では、元のメディアビットストリームをウェーブレット分解して係数のブロック（サブバンドと呼ばれる）を得ることにより、スケーラブルな符号化メディアビットストリームを生成することができる。係数のサブバンドは、元のメディアビットストリームのビットプレーンごとの符号化を得るような方法でスキャンされ、各符号化ビットプレーンは複数のビットストリーム部分集合で表される。スケーラブルな符号化メディアビットストリームを生成する他の既知の技法には、映像圧縮およびオーディオ圧縮が含まれる。本発明のシステム、方法、およびフォーマットは、任意の技法によって生成される任意のスケーラブルな符号化ビットストリームに適用可能なことを理解されたい。
【００２０】
　図１は、第１の部分１０および第２の部分１１を含む、本発明によるスケーラブルな符号化メディアデータのメディアタイプ非固有のフォーマットの第１の実施形態を示す。第１の部分１０は、少なくともメディアタイプ非固有のスケーラビリティ属性に対応する。メディアタイプ非固有のスケーラビリティ属性は、概して、すべてのメディアタイプに共通する属性を含む。例えば、メディアタイプ非固有のスケーラビリティ属性は、（ビットストリームのサイズに対応する）サイズ、（ビットストリームから得られるコンテンツの表示に必要とされる）ディスプレイ解像度、ＳＮＲ（ビットストリームから得られるコンテンツの圧縮されていないバージョンに対する忠実度の単位）、および（メディアの体験に必要な）処理能力を含むことができるが、これらに限定されない。一実施形態では、各属性には、属性を一意に識別するｎバイトコードが関連付けられる。複数のメディアタイプにわたって普遍的な意味を有する標準化属性に予約コードを使用することができ、将来の属性タイプコードのために他のバイトを確保することができる。属性は、すべてのメディアタイプおよび能力にわたり均一性を保持するために標準化値によって表すことができる。一実施形態では、属性は「減少」コード値または「増加」コード値で量子化することができる。第１の部分１０は、第２の部分１１のメディアタイプ非固有のデータ構造情報も含む。一実施形態では、データ構造情報は、スケーラブルな符号化メディアビットストリームの多次元表現の次元に関連する。
【００２１】
　第２の部分１１は、コンテンツ独立の索引付け可能データ構造に配列されたスケーラブルな符号化メディアデータに対応する。具体的には、符号化メディアデータのコンテンツが何であれ、本発明による汎用フォーマットに配列される。符号化メディアデータをこの方法で配列すると、汎用コード変換を行うことができ、実際のメディアコンテンツを知ることなく、またメディアデータを解読または復号化することなくコード変換演算が行われるため、単一の基盤／トランスコーダで多くのタイプのメディアコンテンツを配信することが可能になる。さらに、フォーマットは、打ち切り、ビットストリーム・スキップ、および再パッキング等のコード変換演算を容易化して、実際のコンテンツまたは符号化ビットストリームに以前適用された圧縮方式を知ることなく、符号化ビットストリームのスケーリング版を生成する。さらに、コンテンツ独立の索引付け可能な入れ子フォーマットは、任意のタイプのメディアに固有ではないため、現在存在するメディアならびに将来のメディアタイプの双方に使用することができる。
【００２２】
　一実施形態では、スケーラブルな符号化メディアデータは図２Ａに示すように配列され、各階層は異なるタイプのスケーラビリティに対応する。データは、複数のＴＯＣを使用して索引付け可能であり、各階層は対応するＴＯＣで索引付け可能である。別の実施形態では、第２の部分が単一のＴＯＣを使用して索引付けられる。例えば、図２Ａに示すように、ビットストリームの第１の階層は、第１のビットストリーム符号化部分集合（部分集合０）および第２のビットストリーム符号化部分集合（部分集合１）を含む。上述したように、スケーラビリティは、ビットストリームの部分集合をグループ化して特定の階層にスケーラビリティを提供することによって実現することができる。例えば、第１のスケーラビリティは部分集合０からしか得られないが、第２のスケーラビリティは部分集合０および部分集合１を組み合わせた部分集合から提供することができる。第１の階層が提供するスケーラビリティのタイプは、第１および第２の部分集合の実際のコンテンツに依存する。第１の階層の第１および第２のビットストリーム部分集合はそれぞれ、第２の階層の第１および第２のビットストリーム部分集合（部分集合０および部分集合１）にさらに分けることができる。ここでも、第２の階層の部分集合のコンテンツにより、その階層によって提供されるスケーラビリティがどのタイプであるかが決まる。第３の階層も同様に分けられる。このタイプの多層スケーラブルビットストリームの一例は、ＪＰＥＧ２０００ビットストリームである。ＪＰＥＧ２０００のプログレッシブモードの１つでは、最高の階層が解像度スケーラビリティに対応し、解像度スケーラブルな部分集合内に、信号対雑音比（ＳＮＲ）部分集合である第２の階層が入れ子される。図２Ａに示す例では、部分的には、ランダムアクセスのため、またコード変換演算中にドロップまたは打ち切る部分集合を高速に特定するために、ＴＯＣ（目次）が提供されることに留意されたい。
【００２３】
　図２Ｂは、図２Ａに示す積層型の拡縮可能な符号化ビットストリームの代替表現を示す。この表現では、立方体の各次元が図２Ａの各階層に対応する立方体に配列された複数のビットストリーム部分集合Ｂ（ｘ，ｙ，ｚ）を含む。所与の属性は、次元に沿って減少または増加することができる。例えば、階層１が解像度に対応する場合、解像度はｘ次元に沿って増加する。この表現では、コード変換は、レイヤをドロップし、ＴＯＣを適宜更新することによって簡単に実施することができる。換言すれば、符号化ビットストリームのコード変換／スケーリングは、立方体の行または列を打ち切ることによって実現することができる。例えば、階層１が解像度に対応する場合、階層２はＳＮＲに対応し、階層３はインタラクティブ性に対応し、また１０と示される部分集合が打ち切られる場合、符号化ビットストリームは、ＳＮＲが増加するようにスケーリングされるが、解像度およびインタラクティブ性はスケーリングされない。一実施形態では、メディアデータの符号化および暗号化中に、因果律（causality）が保たれる。
【００２４】
　メディア非固有フォーマットの第２の実施形態によれば、各伝送インスタンス中に受け渡されるメディアコンテンツはパーセル(parcel)と呼ばれる。汎用ケース中の各パーセルは、複数のメディア構成要素で構成して、複合的な体験を提供することができる。例えば、一構成要素が画像であり、次の構成要素が画像に付随するオーディオ注釈であっても良く、双方の構成要素が一緒に単一のパーセルにパッキングされ、オーディオ注釈付きで画像を閲覧する体験を提供する。各メディア構成要素は、記述を含むヘッダと共に、スケーラブルな非メディア固有フォーマットで表すことのできる符号化データユニットである。パーセルについての全体的なメディアの記述は、ヘッダ内の個々の構成要素についての記述からなる一方、全体的なパーセルデータは、個々の構成要素の（スケーラブルな）符号化データからなる。
【００２５】
　概して、メディア非固有のフォーマットの第２の実施形態によれば、各パーセルは２つの部分、すなわちパーセルヘッダとパーセルデータ（図３Ａ）を含む。一般に、パーセルヘッダ部分は、特に、メディア構成要素の数、ならびに各構成要素の個々のヘッダを含む。パーセルデータ部分は、個々の構成要素の符号化データを含む。
【００２６】
　各メディア構成要素ヘッダのフォーマットの一実施形態を図３Ｂに示す。ヘッダは、メディア構成要素が本発明によるメディアタイプ非固有のフォーマットをされているか否かを指定するフラグで開始する。フォーマットされていない場合、コード変換は行われず、メディアパーセル全体がそのままアウトバウンドの接続に転送される。この場合、ヘッダに構成要素記述がない。しかし、パーセルがスケーラブルであり、かつメディアタイプ非固有のフォーマットに準拠することをフラグが示す場合、ヘッダの後に構成要素記述が続く。
【００２７】
　構成要素記述は、図２Ｂに示す立方体の次元数に対応する、入れ子になったスケーラビリティ階層数Ｌを含み、その後に続けて、立方体の行数に対応する各階層ｉ中のレイヤの数を含むリストｌｉを含む。次に来るのは、一貫性リストと呼ばれるリストであり、同じタイプのパーセルにわたり一貫性を保持するために重要な階層の部分集合からなる。これについては後に詳細に述べる。
【００２８】
　一貫性リストの後には、スケーラビリティフラグ（Scalability_Flag）と呼ばれる単一ビットフラグが続き、データ部分がスケーラブルなフォーマットであるかどうか、またはビットストリームに複数の独立したバージョンがパッキングされているかどうかを記述する。換言すれば、同じメディア構成要素ヘッダを、増分スケーラブルなビットストリームおよび複数バージョンのスケーラブルなビットストリームの双方に適用することができる。一般に、増分のおよび複数バージョンスケーラブルなビットストリームについてのすべてのコード変換演算は同じである。しかし、特定の場合では、スケーラブルなビットストリームが複数の独立したバージョンを含むことを知ることによって、トランスコーダの帯域効率を増大させることが可能である。
【００２９】
　次のフィールドは、メディア構成要素に関連する属性数Ｎであり、それぞれに要求されるデータのリストが続く。一般に、属性は、属性値と呼ばれる負ではない数で定量的に表現される。予約された属性の場合、定量化（quantification）もコードと共に標準化される。例えば、サイズはＫバイトで表現することができ、ディスプレイ解像度（display_resolution）は、画素数での画面の対角幅として表現することができ、処理能力（processing_power）は、ＣＰＵ速度×プロセッサ数（CPU_speed × Number_of_processors）で表すことができ、以下同様である。予約された属性の定量化に使用される方法は、異なるタイプのメディアにわたる均一性及び能力の伝達方法が保存されるように標準化される。最も知られている属性の場合、値はレイヤに伴って減少しないかまたは増加しない。従って、より多くのレイヤがスケーラブルなメディアに追加されるにつれて、通常、属性値は単調に変化する。
【００３０】
　各属性についてのデータは最初に、この属性を識別する一意の属性コード（Attribute_code）フィールドを含む。一実施形態では、属性コードは２つのフィールド、すなわち属性ＩＤ（Attribute_ID）および属性結合（Attribute_combination）からなる。属性ＩＤは一意の識別子であり、属性結合は、属性値が、同じ属性を有する別のメディア構成要素と組み合わされる場合にどのように変化するかを記述するフィールドである。考えられる値は、加算、最大値、最小値等である。例えば、サイズは常に組み合わせの際に加算であるが、ディスプレイ解像度は、組み合わせ後の個々の構成要素の最大値である。すなわち、２つ以上のメディア構成要素が組み合わせられる場合、必要なサイズは、すべてに必要なサイズの和である。一方、必要なディスプレイ解像度は、すべての中で最大のものである。全体的に、一意の属性コードは属性を識別するだけでなく、別の構成要素と組み合わせられる場合の挙動も定義する。
【００３１】
　次にフィールドは属性単調タイプ（Attribute_Monotone_Type）であり、レイヤの増加に伴って属性値がどのように変化するかを示す。考えられるタイプは、レイヤ数に伴う単調非減少、単調非増加、非単調である。
【００３２】
　属性データ中の次のフィールドは参照属性値である。これは、属性の数値参照値であり、後に続く分布値と乗算されると、各種レイヤドロップオプションに対する属性値を与える。
【００３３】
　参照属性値フィールドの後にはレイヤ／階層上分布フィールドが続き、これは、レイヤがドロップされる場合に属性値がどのように変化するかについての指定である。この指定は、ランダムベクトルの累積分布との並行性のために分布と呼ばれる。指定される分布は、正確または近似であることができる。
【００３４】
　一実施形態では、正確な分布は多次元の累積分布と同様である。例として、Ｌ個の入れ子になった階層があり、ｉ番目の階層中にｌｉ個のレイヤがある場合、分布フィールドは、ｌ０×ｌ１×．．．×ｌＬ−１のサイズのＬ次元行列である。但し、Ｃ（ｊ０，ｊ１，．．．，ｊＬ−１）と示される（ｊ０，ｊ１，．．．，ｊＬ−１）番目の要素（ｊ０＝０，１，．．．，ｌ０−１；ｊ１＝０，１，．．．，ｌ1−１；ｊｉ＝０，１，．．．，ｌ１−１；．．．；ｊＬ−１＝０，１，．．．，ｌＬ−１−１）は、最大（ｊ０，ｊ１，．．．，ｊＬ−１）レイヤのみが送信される場合、構成要素の属性値を得るために、参照属性値の乗数を指定する数である。オプションの空の乗数Ｃψは、構成要素全体がドロップされる場合、すなわちレイヤがまったく送信されない場合の、構成要素の属性値を得るために、参照属性値の乗数を指定する。デフォルトの空の乗数は０である。従って、送信する必要のある乗数の総数は、１＋ｌ０×ｌ１×．．．×ｌＬ−１である。最後の乗数Ｃ（ｌ０−１，ｌ１−１，．．．，ｌＬ−１−１）で参照属性値（Reference_Attribute_value）を乗算すると、完全属性値、すなわちいずれのレイヤもドロップせずに伝送された場合にメディアが有することになる属性値が得られることに注意されたい。また、単調非減少タイプの属性について、レイヤがドロップされない完全メディアの属性値に参照属性値が等しい、すなわちＣ（ｌ０−１，ｌ１−１，．．．，ｌＬ−１−１）＝１の場合、乗数Ｃ（ｊ０，ｊ１，．．．，ｊＬ−１）は、多次元離散ランダムベクトルの累積分布に類似する。
【００３５】
　ＪＰＥＧ２０００ＲＬＣＰプログレッシブモードの最初の２つの階層についての例示的な実施形態では、サイズおよびディスプレイ解像度の属性分布の仕様は、図３Ｃおよび図３Ｄのようになる。双方とも単調非減少である。ここでは、３つのＳＮＲスケーラブルなレイヤをそれぞれ持つ入れ子された４つの空間スケーラビリティレイヤがある。図３Ｄでは、ディスプレイ解像度属性がＳＮＲスケーラブルレイヤとともには変化しないことに注意されたい。コード変換の結果、ＳＮＲレイヤおよび２つの空間レイヤがドロップされる場合、図３Ｃおよび図３Ｄにおいて影付きで示されるコード変換ビットストリームのサイズ属性は参照サイズ値の０．１８倍であり、ディスプレイ解像度属性は参照ディスプレイ解像度値の０．２５倍である。
【００３６】
　一実施形態において、累積分布は、１つまたは複数のより低い次元の周辺分布の積を使用して正確に、または近似的に指定される。この場合、周辺分布の積結合を利用して要素Ｃ（ｊ０，ｊ１，．．．，ｊＬ−１）が近似的にＣ＾（ｊ０，ｊ１，．．．，ｊＬ−１）として得られる。すなわち、仕様は、Ｌ次元を一緒にカバーするＰ低次元累積分布Ｃｉ（．）を含む。すなわち、Ｃ＾（ｊ０，ｊ１，．．．，ｊＬ−１）＝Ｃ０（）×Ｃ１（）×．．．×ＣＰ−１（）である。空部分Ｃψが別個に送信される。
【００３７】
　分布が正確であろうと近似であろうと、分布記述はまず空部分Ｃψを含み、その後ろに指定された積分布の数を示す数Ｐが続き、Ｌ階層毎に１つずつ、その後にどの階層がどの分布にマッピングされるかを示すＬ個のＰ進数（P-ary）の要素のリストが続く。これに続き、Ｐ分布の実際の仕様が順番に続く。
【００３８】
　ＪＰＥＧ２０００についての例示的な一実施形態では、２つの一次元周辺および生成された最終的な近似分布を使用する近似的仕様を、図３Ｅおよび図３Ｆに示すように現すことができる。図３Ｆに示すように、ディスプレイ解像度は、近似手法を使用して正確に表現され、サイズは近似的にのみ表現される。
【００３９】
　図４Ａは、構成要素が依存する様式を定義する構成要素依存性行列Ｄを有するメディアタイプ非固有フォーマットの別の実施形態を示す。特に、構成要素は、コード変換中に除外しても、またしなくてもよい。メディア中の特定の構成要素は、最低のスケーラブルレイヤＢ（０，０）にすぎない場合であっても、コード変換後に含めなければならず、また特定の他の構成要素は完全にドロップすることができる。さらに、メディアに応じて、一構成要素が包含または除外される場合、特定の他の構成要素も包含または除外しなければならない。構成要素レベルでのこの情報はすべて、構成要素依存性行列に関して伝達される。
【００４０】
　図４Ｂは、行列Ｄの例を示す。一実施形態では、Ｍ個の構成要素がメディアパーセルにある場合、構成要素依存規則は、Ｍ×Ｍ行列Ｄに関して指定される。対角要素ｄｉｉは二進数であることができ、ｉ番目の構成要素を、コード変換後に最低レイヤにすぎない場合であっても包含しなければならないかどうかを指定することができる。ｄｉｉ＝１は、ｉ番目の構成要素を包含しなければならないことを示し、ｄｉｉ＝０は、ｉ番目の構成要素を必要であればドロップし得ることを示す。非対角要素ｄｉｊ（ｉ≠ｊ）は５進数（5-ary）であり、ｉ番目の構成要素が包含または除外される場合に、ｊ番目の構成要素を包含しなければならないか、それとも除外しなければならないかを指定する。ｄｉｊ＝０は、ｉ番目の構成要素とｊ番目の構成要素との間に依存性がないことを示し、ｄｉｊ＝１は、ｉ番目の構成要素が包含される場合、ｊ番目の構成要素も包含しなければならないことを示し、ｄｉｊ＝２は、ｉ番目の構成要素が包含される場合、ｊ番目の構成要素を除外しなければならないことを示し、ｄｉｊ＝３は、ｉ番目の構成要素が除外される場合、ｊ番目の構成要素を包含しなければならないことを示し、ｄｉｊ＝４は、ｉ番目の構成要素が除外される場合、ｊ番目の構成要素も除外しなければならないことを示す。
【００４１】
　図４Ａは、タイプフィールドの値によって定義される３つのタイプのうちの１つをとることができるメディア記述タイプ（ＴＹＰＥ）フィールドも示す。タイプ＝Ｉ（統合）は、メディア記述およびデータと統合されたパーセルを指す。図５Ａは、タイプ＝Ｉフォーマットを示す。図５Ｂは、記述がなくデータのみのパーセルを示すタイプ＝Ｄ（データのみ）フォーマットを示す。図５Ｃは、記述のみを有しデータがないパーセルを指すタイプ＝Ｈ（ヘッダのみ）フォーマットを示す。
【００４２】
　署名フィールド（図５Ａ〜図５ＣのＳＩＧ．）は、パーセルクラス（タイプ）を一意に識別し、タイプフィールドの後に続く。トランスコーダは、将来の参照のために、その署名によって索引付けされたすべてのヘッダ情報ならびにパーセルについて行われたレイヤドロップ判断を内部メモリに格納する。署名がトランスコーダに登録されると、タイプＤパーセルを送信することができる。この場合、パーセル中の署名に対応するメディア記述（ヘッダ情報）が、トランスコーダの内部メモリにおいて検索される。各署名毎に格納される記述および判断情報は、同じ署名（クラス）を有する新しいパーセルがルーティングされる都度、更新される。タイプＩおよびＨパーセルの場合、現在のパーセル中の新しいメディア記述で、トランスコーダの内部に格納されている記述が置き換えられ、タイプＩおよびＤパーセルの場合、現在のパーセルについてなされたコード変換判断で、そのクラスについてトランスコーダの内部に格納されている判断が置き換えられる。格納されている情報により、タイプＤパーセルの使用が可能になるとともに、後述するコード変換の一貫性の維持が可能になる。
【００４３】
　ヘッダデータを有するタイプＩおよびＨパーセルの場合、パーセルヘッダ中の署名フィールドの後にメディア構成要素数の仕様が続き、その後に構成要素依存性と呼ばれる構成要素についての依存性データが続き、その後に図３Ｂに示すフォーマット中の個々のメディア構成要素ヘッダのリストが続く。タイプＩパーセルの場合、このパーセルヘッダの後に、図２Ａのメタビットストリームフォーマット中の構成要素それぞれについての実際の符号化スケーラブルデータのリストが続く。タイプＨパーセルの場合、パーセルはヘッダの末尾で終了する。タイプＤパーセルの場合、ヘッダがなく、図２Ａのフォーマット中のスケーラブルデータ構成要素それぞれのリストのみを含む。
【００４４】
　個々の構成要素の属性およびそれぞれの値が与えられると、パーセル全体の属性値を得ることができることに留意されたい。パーセル全体の属性リストは、その構成要素すべてについて指定されたすべての属性を一緒に結合したものを含む。さらに、同じ属性が１つまたは複数の構成要素で生じる場合、属性コードの属性結合フィールド（図３Ｂの「結合（ＣＯＭＢＩＮＥ）」フィールド）において定義される結合タイプにより、全体値が決まる。例えば、属性結合＝加算の場合、全体属性値は個々の構成要素の属性値の和であり、属性結合＝最大の場合、全体属性値は個々の構成要素属性値のうちの最大のものである。コード変換されたパーセルの全体属性値は、アウトバウンド制約によって科されたものを満足させるために、どの構成要素からのどのレイヤをドロップするかを判断するコード変換演算において使用される。
【００４５】
　図６は、本発明によるスケーラブルな符号化メディアデータを配信する方法の第１の実施形態を示す。本実施形態によれば、スケーラブルな符号化メディア元データが、図１に示す第１および第２の部分を含むフォーマットにフォーマットされる。具体的には、メディアデータは、非メディアタイプスケーラビリティ属性および第２の部分のデータ構造情報に対応する第１の部分と、メディアタイプ非固有の索引付け可能データ構造（図２Ａおよび図２Ｂ）に配列されたスケーラブルな符号化メディア元データに対応する第２の部分を含むようにフォーマットされる（６０）。さらに、任意のタイプのスケーラブルな符号化メディアのメディア宛先の受信属性に対応する情報が提供される（６１）。次いで、メディア宛先に配信される前に、フォーマット済スケーラブルな符号化メディア元データが、スケーラビリティ属性と受信属性とのマッチングに基づいてコード変換され、フォーマット済スケーラブルな符号化メディア元データのスケーリング版を生成してメディア宛先の受信属性に適合させる（６２）。
【００４６】
　受信する宛先および任意の中間リンクの受信属性（アウトバウンド制約とも呼ばれる）は、トランスコーダに明確に伝達できるように標準化され（本発明のメディアタイプ非固有フォーマット内に含められるスケーラビリティ属性と同様に）、スケーラビリティ属性と受信属性との比較が可能になることを理解されたい。一実施形態では、受信属性の指定は、属性の測度（measure）と呼ばれる定義可能な多変量関数に対する制約に基づく。定義可能な測度は本質的に、属性値の単純な一変量関数の積を線形結合したものである。多変量関数の一例によれば、以下が定義される。すなわち、（ｉ）組み合わせ中の積項の数Ｎ、（ｉｉ）各積項中の要素の数ｎｉ、（ｉｉｉ）各積項中の属性ａｉｊの属性コード、（ｉｖ）属性値に対する特定の単純一変量関数の関数コードｆｉｊ（．）、および（ｖ）線形結合の乗数λｉである。関数の定義パラメータが与えられると、測度を数１に示すように表現することができる。
【００４７】
【数１】
2004046879.tif 000003
【００４８】
式中、ｆｉｊ（ｘ）は、標準仕様に含めるべきものに対応するコードである、ｘ、ｘ２、ｘ−１、ｌｏｇ（ｘ）、ｅｘ等のような単純一変量関数である。次に、上記定義した測度に対して制約が課される。制約は以下の２つのタイプのものであることができる。
【００４９】
限度制約（limit constraints）
　アウトバウンド制約は、限度制約と呼ばれる属性測度についての特定の限度値からなることが最も多い。これら制約は、測度の受信宛先の最大および／または最小サポート可能値として指定される。最大および最小の双方が属性測度について指定される場合、そのサポート可能値の範囲がある。例えば、限度制約の例は、ｓｉｚｅ／ｌａｔｅｎｃｙ＜３００ＫＢ／ｓである。ここで、ｓｉｚｅは属性であるが、１／ｌａｔｅｎｃｙは乗数としてアウトバウンド制約において指定される。全体的に、これは、受信宛先による受信メディアに対する帯域制限を示す。別の例は、ディスプレイ解像度＜８００対角画素である。
【００５０】
最適化制約（optimization constraints）
　要求される属性測度の最小化または最大化に関して制約を指定することも可能である。この場合、記述は、望まれているのが測度の最小化であるか、それとも最大化であるかで構成される。かかる制約の最も重要な例は、ｍｅａｎ＿ｓｑｕａｒｅｄ＿ｅｒｒｏｒ＋λ．ｓｉｚｅのような測度が最小化されるレート歪み最適化において生じる。ここで、サイズ属性はレート（Ｒ）に対応し、平均二乗誤差属性（mean_squared_error）は歪み（Ｄ）に対応する。
【００５１】
　一般に、コード変換（図６の６２）は、スケーラビリティ属性と受信属性との比較に応じて、ビットストリーム部分集合の単純な打ち切り、ビットストリームの再パッキングおよびＴＯＣの適宜更新として実施することができ、また、スケーラブルな符号化メディアデータをメディアタイプ非固有のデータ構造に配列することにより、コード変換のためにコンテンツを復号化または解読する必要がないことに注意されたい。部分集合は、各階層（図２Ａ）の外側の端からドロップされる。図２Ｂに示す代替の表現を参照すると、外側の行および列がドロップされる。
【００５２】
　一実施形態では、コード変換は図７に示す方法に従って行われる。図示のように、上述した第１および第２の部分を含むフォーマットでメディアデータを受信し（７０）、受信属性を受信する（７１）。スケーラビリティ属性と受信属性とを比較し（７２）、比較に応じて、ビットストリーム部分集合の打ち切り、ドロップ、および再パッキングのうちの１つを行い、メディア宛先に適合したフォーマット済スケーラブル符号化メディア元データのスケーリング版を生成する。
【００５３】
　代替の実施形態では、各受信属性測度を、フォーマット済メディアデータの第１の部分（例えば、メディア構成要素記述）と比較して、対応するスケーラビリティ属性があるかどうかを調べる。属性の１つがどのメディア構成要素の記述にもない場合、この属性を使用してのコード変換は不可能なため、受信属性測度を無効として単に破棄する。
【００５４】
　限度制約で指定される各有効な受信属性測度（すなわち、フォーマット済メディアデータの第１の部分内に、一致するスケーラビリティ属性がある）毎に、全体パケットの完全測度値を限度制約と比較して、限度制約の範囲内にあるかどうかを調べる。フォーマット済メディアデータの完全測度値は、フォーマット済メディアデータの完全属性値から導出され、フォーマット済メディアデータは、属性コード（図３Ｂ）の属性結合タイプフィールドを使用してメディア構成要素の属性を組み合わせることによって得られる。完全測度値がアウトバウンド限度制約の範囲を超えない場合、コード変換を行わず、フォーマット済メディアデータを転送または送信する。完全測度のうちの少なくとも１つが限度制約の範囲外にある場合、１つまたは複数のメディア構成要素から部分集合（すなわち、図２Ｂに示すように外側の行または列）を打ち切る、除去する、また再パッキングすることにより、コード変換を行う。
【００５５】
　どの構成要素からどの行または列をドロップするかの判断は、単純な手法から複雑な最適化を含む手法に及ぶ様々な方法で実施できることを理解されたい。例えば、構成要素ヘッダに含められる属性単調タイプフィールドにより、属性が単調（非減少または非増加）であることが示される場合、行または列をドロップする単純な手法を行うことができる。代替的に、どの部分集合をドロップするかを判断するために、構成要素間に複雑な関係を作ることができる。
【００５６】
　受信属性内の最適化制約が指定される場合、その優先度は限度制約よりも低い。限度制約に違反しない選択肢の中から、トランスコーダは、測度値を最大化するかまたは最小化するものを選択する。これは、レート歪み基準（すなわち、従来のＤ＋λＲ）に基づいて最適なレイヤを選択する場合、またはユーザが他の属性ではなく１つの属性を選ぶ相対的な好みに基づいて最適なレイヤを選択する場合に特に有益でありうる。
【００５７】
　一実施形態では、どの構成要素からどの部分集合をドロップするかについて判断がなされると、トランスコーダは、コード変換したメディアデータを送出する前に、ビットストリーム中の部分集合をドロップし、適当なＴＯＣを更新し、ドロップした部分集合に基づいて属性分布行列を打ち切る。データが複数バージョンタイプのものであり、トランスコーダが受信宛先に到達する前の連鎖の中で最後である場合、コード変換演算は、所望のアトム（atom）のみを抽出し、残りを破棄することを含む。
【００５８】
　複数のパケットが同じ受信宛先に向けられる場合、メディア宛先を各パケットに含め、トランスコーダがレイヤを適宜ドロップするものと期待することは実用的ではないことがある。例えば、消費者が１つのプレゼンテーションスライドを次のスライドとは異なる解像度で受信した場合、メディア体験は減少する。従って、代替の実施形態によれば、通常同じタイプのパケットのクラスに共通のメディア記述を使用する。特に、コード変換中、識別署名（図４ＡのＳＩＧ．フィールド）により索引付けられた登録クラスについて、メディア記述データならびにコード変換決定が格納される。クラスについての記述データを含むフォーマット済メディアデータを初めて受信する（図５Ａ〜図５ＣのタイプＩまたはタイプＨパケット）場合、所与の署名に対応するエントリがバッファに作成される。所与の署名がメモリにすでに存在する場合には上書きされる。次に、同じクラスに属するタイプＤパケットが送信される場合、メディア記述の代わりに署名のみを使用して、記述がチェックされ、レイヤドロップ判断が行われ、新しい判断がそのクラスのメモリに格納される。タイプＨパケットが送信される場合、クラスについて格納されている記述が単純に更新される。タイプＩパケットが送信される場合、まず、所与の署名に対応するメモリ中のパケット記述が更新され、次に、新しい記述子を使用してレイヤドロップ判断が行われ、最後に、新しい判断がクラスのメモリに格納される。タイプＤおよびタイプＩパケットのクラスの場合、判断が将来の一貫性のために格納される。
【００５９】
　一貫性とは、各構成要素のレイヤドロッププロファイルが、構成要素ヘッダ（図３Ｂ）の一貫性リストに示される階層のリストに対して１つのパケットから別のパケットまでに変化しないままであるような制約のことをいう。一実施形態では、一貫性リストは、すべての階層の部分集合を含む。構成要素の一貫した階層の場合、ドロップされる部分集合の数は、クラス用のメモリに格納された、前のパケットについて行われた判断と同じである。これは、部分集合ドロップ判断機構が従うことができる追加の制約である。コード変換の判断段階では、クラスについて現在格納されている一貫性リスト中の階層が、クラスについて予め格納された判断と同じに維持される。従って、タイプＩパケットの場合、上述した演算の順序に基づき、判断段階において、新しい一貫性リストを古いリストの代わりに使用する。これは、たとえ以前のフォーマット済メディアデータの判断が参照として使用されるとしても、判断がなされる前に記述が更新されるためである。
【００６０】
　一貫性機構は、同じクラスに属するメディアデータを配信する際の一貫性を保証する一方で、一貫性リストに含まれてない階層のレイヤドロップにおける変更を許可することにより、同じタイプのフォーマット済メディアデータについての記述の変更および（帯域等の）受信属性の変更に基づいた適合を可能とする。
【００６１】
　上述した方法の代替の実施形態によれば、各署名は、使用されない結果ドロップされるまで記憶ユニットに残る。一実施形態では、循環バッファにより最近使用された署名の順序付きリストが維持される。特定の署名がしばらくの間使用されなかった場合、その署名は最終的に新しい署名で置き換えられることができる。
【００６２】
　図８は、メディア発信元８０、トランスコーダ８１、およびメディア宛先８２を含むスケーラブルな符号化メディアデータを配信する本発明のシステムの第１の実施形態を示す。メディア発信元８０は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列されたスケーラブルな符号化メディア元データに対応する第２の部分とを含むフォーマットでスケーラブルな符号化メディアデータ８０Ａを提供する。メディア宛先８２は、少なくとも１つのタイプのスケーラブルな符号化メディアのメディア宛先の受信属性８２Ａに対応する情報を提供する。トランスコーダ８１は、フォーマット済のスケーラブルな符号化メディア元データを、メディア宛先８２に配信する前に、スケーラビリティ属性と受信属性とのマッチングに基づいてコード変換し、フォーマット済のスケーラブルな符号化メディア元データのスケーリング版８１Ａを生成する。
【００６３】
　一般に、トランスコーダはメディアに直接接続することができ、この場合、メディア宛先は受信属性をトランスコーダに直接提供（または、トランスコーダが受信属性を検出）するため、トランスコーダがフォーマット済データのスケーリング版を提供することが可能になる。代替的に、トランスコーダは、すべての下流のメディア宛先の集積能力を受信または検出することができる。この場合、スケーラブルな符号化メディアデータは、それぞれの集積能力に基づいてメディア宛先に配信される。例えば、図９は、本発明に従ってフォーマット済メディアデータに対してコード変換をそれぞれ行い、下流のメディア宛先の受信属性（白の矢印）の集積受信属性に依存する複数のトランスコーダを含むネットワークを示す。トランスコーダ９０および９１によって生成されるフォーマット済メディアデータの単一ビットストリームは、受信宛先９３および９４の双方の受信属性に適合したフォーマット済メディアデータを提供し、トランスコーダ９２は、受信宛先９３および９４のうちの一方の能力にそれぞれ適合した個々のフォーマット済メディアデータビットストリームを生成することに注意されたい。
【００６４】
　一実施形態では、トランスコーダは、メディアサーバ、中流にあるルータ、またはエッジサーバのうちのいずれか１つで具現することができ、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせで実施することができる。
【００６５】
　図１０は、フォーマット済メディアデータ１００Ａおよびメディア宛先受信属性１００Ｂを受信し、フォーマット済メディアデータ１００Ｃのスケーリング版を生成するトランスコーダ１００の一実施形態を示す。トランスコーダは、フォーマット済メディアデータの第１の部分２０（図１）を受信して構文解析する第１のパーサ１０１を備える。トランスコーダは、メディア宛先受信属性１００Ｂを受信して構文解析する第２のパーサ１０２をさらに備える。パーサ１０１および１０２はそれぞれ、所望の属性データおよび情報を構文解析して、オプティマイザ（optimizer）／判定器１０３に提供する。トランスコーダ１００は、第１の部分のサブトランスコーダ１０４および第２の部分のサブトランスコーダ１０５をさらに含む。オプティマイザ／判定器１０３は、双方のサブトランスコーダに制御を与え、トランスコーダにフォーマット済メディアデータの第１および第２の部分それぞれに対していずれかのコード変換（すなわち、ビットストリーム部分集合の打ち切り、除去、再パッキング）を行い、第１および第２の部分それぞれのスケーリング版を含む、スケーリングしたフォーマット済メディアデータ１００Ｃを生成する。
【００６６】
　このように、メディアタイプおよびコンテンツタイプから独立しているため、現在のすべてのタイプのメディアおよびあらゆる将来のメディアに対して普遍的な配信システム、方法、およびフォーマットを提供する、スケーラブルな符号化メディアデータを配信するシステム、方法、およびフォーマットについて記載した。
【００６７】
　以上の説明では、本発明の完全に理解するために多くの具体的な詳細について述べた。しかし、本発明の実施にこれら具体的な詳細を使用する必要がないことは当業者には明らかであろう。さらに、例として説明した特定の実施形態は、限定とみなすべきではないことを理解されたい。実施形態の詳細を参照したことは、特許請求の範囲を制限する意図ではない。
【図面の簡単な説明】
【００６８】
【図１】本発明によるスケーラブルなメディアデータのメディアタイプ非固有のフォーマットの第１の実施形態を示す図である。
【図２Ａ】本発明による多層スケーラビリティを有するメディアタイプ非固有のデータ構造にフォーマットされたメディアデータの一実施形態を示す図である。
【図２Ｂ】本発明による、図２Ａに示す表現に対応するスケーラブルな符号化メディアデータの代替的な表現を示す図である。
【図３Ａ】本発明による、パーセル構成要素およびパーセルデータ情報を含むスケーラブルなメディアデータのメディアタイプ非固有フォーマットの第２の実施形態を示す図である。
【図３Ｂ】本発明のスケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される構成要素ヘッダの一実施形態を示す図である。
【図３Ｃ】本発明のスケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図３Ｄ】本発明のスケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図３Ｅ】本発明のスケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図３Ｆ】本発明のスケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図４Ａ】構成要素が依存する様式を定義する構成要素依存性行列Ｄを有するメディアタイプ非固有のフォーマットの第３の実施形態を示す図である。
【図４Ｂ】本発明による依存性行列Ｄの一例を示す図である。
【図５Ａ】異なるタイプフィールドを有するメディアタイプ非固有のフォーマットを示す図である。
【図５Ｂ】異なるタイプフィールドを有するメディアタイプ非固有のフォーマットを示す図である。
【図５Ｃ】異なるタイプフィールドを有するメディアタイプ非固有のフォーマットを示す図である。
【図６】スケーラブルな符号化メディアを配信する方法の第１の実施形態を示す図である。
【図７】コード変換方法の第１の実施形態を示す図である。
【図８】スケーラブルな符号化メディアを配信するシステムの第１の実施形態を示す図である。
【図９】本発明のシステムおよび方法を実施する構造の一例を示す図である。
【図１０】本発明によるトランスコーダの第１の実施形態を示す図である。
【図１】
2004046879.tif 000004
【図２Ａ】
2004046879.tif 000005
【図２Ｂ】
2004046879.tif 000006
【図３Ａ】
2004046879.tif 000007
【図３Ｂ】
2004046879.tif 000008
【図３Ｃ】
2004046879.tif 000009
【図３Ｄ】
2004046879.tif 000010
【図３Ｅ】
2004046879.tif 000011
【図３Ｆ】
2004046879.tif 000012
【図４Ａ】
2004046879.tif 000013
【図４Ｂ】
2004046879.tif 000014
【図５Ａ】
2004046879.tif 000015
【図５Ｂ】
2004046879.tif 000016
【図５Ｃ】
2004046879.tif 000017
【図６】
2004046879.tif 000018
【図７】
2004046879.tif 000019
【図８】
2004046879.tif 000020
【図９】
2004046879.tif 000021
【図１０】
2004046879.tif 000022