(57)【要約】IPネットワーク(204)でスケーラブル符号化映像の伝送を促進するシステム及び方法が提供される。マルチトラックヒンティングと呼ばれる提案の前処理方法が開示され、階層化映像(400)を柔軟なフォーマットに効率的に構成し、それにより、変化するネットワーク状態、複雑性の制約及びユーザの嗜好に従ってパケット交換ネットワーク(204)で容易にストリーミングされ得る。汎用MPEGサーバ(205)は、主要な変更をせずに、複数チャネル(すなわち、RTP接続)を自動的に使用することができ、それによって、伝送されるスケーラブル階層の数を調整することにより、変化するネットワーク状態、複雑性の制約及びユーザの嗜好に適応するように、ストリーミングシステムに柔軟性を提供する。従って、マルチトラックヒンティング法は、標準的なインターネットストリーミングプロトコル(RTSP、SDP)の機能を拡張し、拡張性のある適応を可能にする。
2006503517.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークでスケーラブル符号化映像をストリーミングする方法であって、
a)前記スケーラブル符号化映像の下位レイヤを表す第１のビットストリームをエンコードし、
b)前記スケーラブル符号化映像の上位レイヤを表す第２のビットストリームをエンコードし、
c)前記ネットワークでの前記エンコードされた第１のビットストリーム(下位レイヤ)の伝送を促進する第１のヒントトラックを生成し、
d)前記ネットワークでの前記第２のビットストリーム(上位レイヤ)の少なくとも一部の伝送を促進する上位レイヤのヒントトラックを生成すること
を有する方法。
【請求項２】
請求項１に記載の方法であって、
e)前記第１のヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第１のビットストリーム(下位レイヤ)を伝送するステップと、
f)前記ネットワークで伝送される前記エンコードされた第２のビットストリーム(上位レイヤ)の前記少なくとも一部を決定するステップと、
g)前記複数の上位レイヤのヒントトラックの中から１つ以上の上位レイヤのヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第２のビットストリーム(上位レイヤ)の前記決定された部分を伝送するステップと
を更に有する方法。
【請求項３】
請求項２に記載の方法であって、
伝送される前記エンコードされた第２のビットストリームの一部を決定する前記ステップ(f)は、主なネットワーク状態と、ネットワーク帯域の変化と、ネットワークの複雑性の制約と、ユーザの嗜好とのうちの少なくとも１つに従って行われる方法。
【請求項４】
請求項２に記載の方法であって、
前記エンコードされた第２のビットストリームの前記決定された部分を伝送する前記ステップ(g)は、
1)前記複数の上位レイヤのヒントトラックの中から、伝送される前記決定された部分を満たすために必要な上位レイヤのヒントトラックを特定するステップと、
2)前記特定された上位レイヤのヒントトラック毎に別のエンド・ツー・エンドのネットワーク接続を確立するステップと
を更に有する方法。
【請求項５】
請求項４に記載の方法であって、
前記確立したエンド・ツー・エンドのネットワーク接続がRTP接続である方法。
【請求項６】
請求項１に記載の方法であって、
前記ネットワークで前記第２のビットストリーム(上位レイヤ)の少なくとも一部の伝送を促進する複数の上位レイヤのヒントトラックを生成する前記ステップ(d)は、ローカルでの再生のために前記上位レイヤを維持することを更に有する方法。
【請求項７】
ネットワークでスケーラブル符号化映像をストリーミングするシステムであって、
前記スケーラブル符号化映像の下位レイヤを表す第１のビットストリームをエンコードする手段と、
前記スケーラブル符号化映像の上位レイヤを表す第２のビットストリームをエンコードする手段と、
前記ネットワークでの前記エンコードされた第１のビットストリーム(下位レイヤ)の伝送を促進する第１のヒントトラックを生成する手段と、
前記ネットワークでの前記第２のビットストリーム(上位レイヤ)の少なくとも一部の伝送を促進する上位レイヤのヒントトラックを生成する手段と
を有するシステム。
【請求項８】
請求項７に記載のシステムであって、
前記第１のヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第１のビットストリーム(下位レイヤ)を伝送する手段と、
前記ネットワークで伝送される前記エンコードされた第２のビットストリーム(上位レイヤ)の前記少なくとも一部を決定する手段と、
前記複数の上位レイヤのヒントトラックの中から１つ以上の上位レイヤのヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第２のビットストリーム(上位レイヤ)の前記少なくとも一部を伝送する手段と
を更に有するシステム。
【請求項９】
請求項８に記載のシステムであって、
伝送される前記エンコードされた第２のビットストリームの前記少なくとも一部を決定する前記手段は、主なネットワーク状態と、ネットワーク帯域の変化と、ネットワークの複雑性の制約と、ユーザの嗜好とのうちの少なくとも１つに従って行われるシステム。
【請求項１０】
請求項８に記載のシステムであって、
前記エンコードされた第２のビットストリームの前記決定された部分を伝送する前記手段は、
前記複数の上位レイヤのヒントトラックの中から、伝送される前記エンコードされた第２のビットストリームの前記少なくとも一部を満たすために必要な上位レイヤのヒントトラックを特定する手段と、
前記複数の上位レイヤのヒントトラックの中から前記特定された上位レイヤのヒントトラック毎に別のエンド・ツー・エンドのネットワーク接続を確立する手段と
を更に有するシステム。
【請求項１１】
請求項１０に記載のシステムであって、
前記確立したエンド・ツー・エンドのネットワーク接続がRTP接続であるシステム。
【請求項１２】
請求項７に記載のシステムであって、
ローカルでの再生に利用される前記上位レイヤを維持する手段を更に有するシステム。
【請求項１３】
請求項７に記載のシステムであって、
前記エンコーダがMPEG-4エンコーダであるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して映像符号化方法を対象とし、特にIPネットワークでスケーラブル符号化映像をストリーミングする方法を対象とする。
【背景技術】
【０００２】
ブロードバンド技術の急速な発展により、近い将来、映像ストリーミングが主要なインターネットアプリケーションになると考えられている。インターネットを含むデーターネットワークでのマルチメディアコンテンツのリアルタイムストリーミングは、近年、ますます一般的なアプリケーションになっている。ニュース・オン・デマンドや、生のネットワークテレビ観賞や、テレビ会議等のような広範囲のインタラクティブ及び非インタラクティブのマルチメディアアプリケーションは、エンド・ツー・エンドのストリーミング映像技術に依存している。この発展を支持するように、WLAN製品の下落するコストと、IEEE802.11aや802.11gのような新しいWLAN技術により提供される大きい帯域が、最終的に映像伝送の更なる使用を導いている。従って、将来の無線映像アプリケーションは、有線バックボーン及び無線の拡張を備えたオープンな階層的なインターネット型のネットワークで動作する必要がある。従って、ネットワークの有線と無線の双方の部分を通じた伝送について、共通のプロトコルが使用される必要がある。これらのプロトコルは、インターネットプロトコル(IP)に基づく既存のプロトコルの将来の拡張である可能性が高い。
【０００３】
インターネットや無線ネットワークの特有のリソースを共有する性質のため、将来のマルチメディア通信は可変帯域のチャネルを主に使用する。従って、映像コンテンツのストリーミングが可変帯域のチャネルを使用するネットワークで行われると、利用可能なリソースに適応するように瞬間データレートが頻繁に調整されなければならない。これはスケーラブル映像符号化を通じて実現され得る。スケーラブル映像符号化機構は、(1)大量の同時のユニキャスト(オンデマンド)ストリームを出力する際に、ストリーミングサーバが最小のリアルタイム処理とレート制御を可能にすること、(2)受信機(例えば、アナログモデム、ケーブルモデム、xDSL等)の不均一のアクセス技術のため、及びネットワーク状態の動的な変化(例えば、輻輳の場合)のため、予測できない帯域の変化に大いに適応可能であること、(3)低い計算能力を備えたプロセッサがスケーラブル映像ストリームのサブセットのみをデコードすることが可能であること、(4)マルチキャストとユニキャストの双方のアプリケーションに対応すること(5)パケット及びビット誤りの損失に対して回復力があること、を含む複数の理由により、不均一のネットワークでの伝送に対して簡単且つ柔軟なフレームワークを提供することができる。
【０００４】
スケーラブル符号化機構の例には、例えば、MPEG-4  Fine  Granularity  Scalability(FGS)と、Advanced  FGSと、データパーティショニング(Data-Partitioning)と、MPEG-4空間及び時間スケーラビリティ(MPEG-4  Spatial  and  Temporal  Scalability)と、新たに出現してきた動き補償ウェーブレット手法(Motion-Compensated  Wavelet  Solution)が含まれる。
【０００５】
MPEG-4システムグループは、ローカル又はリモート(ストリーミング等)でのマルチメディアプレゼンテーション用の定期メディア情報を含む標準的なメディアファイルフォーマット(.mp4)を展開している。このフォーマットは、メディアの交換、管理、編集及びプレゼンテーションを促進するために、高い柔軟性と拡張性を備えて慎重に設計されている。
【０００６】
図１は、最もハイレベルの抽象化で、MPEG-4ムービーファイル(すなわち、.mp4ファイル)100の構造を示している。そのMPEG-4ムービーファイルは、エンコーダにより生成されたエレメンタリビットストリーム(elementary  bit  stream)(すなわち、エレメンタリビットストリーム(音声)102、エレメンタリビットストリーム(映像)104)と、ローカル再生用にプレイヤを導き、適切な時間でのプレゼンテーション用に正しいメディアデータを抽出するためにプレイヤが使用するタイミングやデータポインタのようなデータを含むムービートラック(movie  track)(すなわち、音声ムービートラック106、映像ムービートラック108)と、パケットベースのネットワークでメディアをストリーミングし、エレメンタリビットストリームからパケットを生成するためにサーバが使用するタイミングやデータポインタやパケットヘッダ用データのような情報を含むヒントトラック(hint  track)(すなわち、音声用ヒントトラック110、映像用ヒントトラック112)とを有する構造としてみなされ得る。
【０００７】
矢印は、前述の多様なストリーム間に存在する関係を示している。具体的には、映像ムービートラック108は映像エレメンタリビットストリーム104に関係し、音声ムービートラック106は音声エレメンタリビットストリーム102に関係し、映像用ヒントトラック112は映像ムービートラック108に関係し、音声用ヒントトラック110は音声ムービートラック106に関係する。
【０００８】
ストリーミングアプリケーションで.mp4ファイルが使用される場合、通常、サーバはファイルに含まれるヒントトラックと同じ数の(リアルタイム転送プロトコル)RTP接続を確立する。換言すると、RTP接続とヒントトラックとの間に一対一の関係が存在する。各RTP接続はヒントトラックを割り当てられ、そのトラックから生じたパケットを配信する役割をする。RTPは、音声や映像のようなリアルタイムデータを伝送するインターネットプロトコルである。RTP自体はデータのリアルタイム配信を保証しないが、ストリーミングデータをサポートするアプリケーションを送受信する機構を提供する。一般的に、RTPはUDPプロトコルの上位で動作するが、その使用は他の伝送プロトコルをサポートするのに十分なほど一般的である。ユーザデータグラムプロトコルは、IPネットワークの上位で動作するTCPのようにコネクションレス型プロトコルである。TCP/IPとは異なり、UDP/IPは非常に少ない誤り回復サービスを提供し、その代わりにIPネットワークでデータグラムを送受信する直接の方法を提供する。
【０００９】
前述の.mp4ファイルフォーマットの１つの欠点は、それが階層化映像ストリーミングの要件に明示的に対応しないことである。周知のように、階層化映像符号化では、圧縮された映像は複数のサブレイヤに構成される。これらのレイヤは映像品質を改善するために徐々に追加され得る。一般的に、階層化映像符号化は、異なる優先度を有するサブレイヤに分割され得る１つのエレメンタリビットストリームを生成する。一般的なmp4ファイルフォーマットを複数レイヤの映像ストリームに適用する制約は、階層化映像をストリームするために１つのみのRTP接続しか利用可能でないことである。この柔軟性のないストリーミング手法に基づくスケーラブル符号化により、チャネル特性や複雑性等に対して望ましい適応ができないという点で、このことは望ましくない。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従って、当該技術分野において、サーバが複数のRTP接続を生成し、階層化映像ストリームの各サブレイヤに適応し、チャネル特性や複雑性等に対して望ましい適応を可能にするIPネットワークでスケーラブル符号化映像をストリーミングする体系的なフレームワークの必要性が存在する。
【００１１】
本発明は、IPネットワークでスケーラブル符号化映像をストリーミングする体系的なフレームワークを提供することにより、前述の必要性に対処する。新規なアーキテクチャは、スケーラブル符号化映像を配信するために、ユニキャストとマルチキャストの双方について複数のIP接続を使用する。
【００１２】
従って、一態様によると、本発明は、柔軟なスケーラブル映像パケット化用のシステム(すなわち、前処理ヒンティング法(hinting  method)、装置及びコンピュータ実行可能処理ステップ)である。提案の前処理方法は、ここではマルチトラックヒンティング(multi-track  hinting)と呼ばれ、有利には現在のMPEG-4メディアファイルフォーマット標準と下位互換性があり、それによって、変化するチャネル特性や複雑性の制約やユーザの嗜好に従って階層化映像を効率的にストリームするために汎用MPEG-4ストリーミングサーバを使用することを可能にする。すなわち、主要な変更を行わずに、サーバはマルチチャネル(すなわち、RTP接続)を自動的に使用することが可能になり、それによって、送信されるスケーラブル階層の数を調整することにより、ネットワーク状態に適応する柔軟性をストリーミングシステムに提供する。従って、マルチトラックヒンティング法は、柔軟な適応を可能にするように標準的なインターネットストリーミングプロトコル(RTSP、SDP)の機能を拡張する。
【００１３】
有利には、本発明のヒンティング法は、mp4ファイルが階層化映像ストリーミングの要件に明示的に対応していないという従来技術の制約を克服する。そのため、IPネットワークで階層化映像をストリームするために、単一のRTP接続のみが利用可能であった。単一のRTP接続は、チャネル特性や複雑性の制約やユーザの嗜好の変化に適応できないという点を含み、複数の理由で望ましくない。
【発明を実施するための最良の形態】
【００１４】
次に図面を参照すると、同一の参照数字は図面を通じて対応する部分を表す。
【００１５】
添付の印刷した付録はこの明細書に含まれ、この明細書の一部を構成し、本発明の実施例を示し、詳細な説明と共に本発明の原理を説明する役割をする。付録は擬似コードで記載されている。
【００１６】
付録１は、FGSマルチトラックヒンティングのアルゴリズムの説明を含む。関数max_channel_allocation(i)は、第iのヒントトラックに関連する第iのRTP接続に割り当てられるビットレートを決定する。従って、そのアルゴリズムは、ヒンティング段階でストリーミングチャネルのビットレートを予め決定する。特定のネットワーク状態及びコーデック特性が考慮された場合には、アルゴリズムをパケット化及びレート割り当ての最適化に発展することも可能であることが、更にわかる。しかし、これらのアルゴリズムはアプリケーション特有のものであり、この開示の中では更に説明しない。
【００１７】
以下の説明では、本発明の完全な理解を提供するため、限定ではなく説明の目的で特定のアーキテクチャ、インタフェース、技術等のような特定の詳細が示されている。簡潔さと明瞭性のため、本発明の説明を不要な詳細であいまいにしないように、周知の装置と回路と方法の詳細な説明を省略する。
【００１８】
一般的に、以下に説明する技術は、多様なスケーラブル符号化機構に統合され、上位レイヤのロバスト性を向上し得る。インターネット又は無線ネットワークのようなネットワークでのスケーラブルビットストリームの配信に関して、符号化機構を説明する。しかし、その階層化映像符号化機構は、広範囲の環境に一般的に適応可能である。更に、MPEG-4符号化機構に関して技術を説明するが、その技術はまた、他の動き補償ベースのマルチレイヤ映像符号化技術にも適用可能である。
【００１９】
MPEG-4システムグループは、IPネットワークでの“非スケーラブル”符号化映像についてのストリーミング方策を展開して標準化してきた。しかし、変化するチャネル状態や複雑性の制約やユーザの嗜好に対して効率的に適応できる“スケーラブル”映像フォーマットの伝送について、新規なストリーミングアーキテクチャが必要であることを、本発明者は認識した。スケーラブル映像ストリーミングシステムのアーキテクチャはMPEG-4システムグループにより定められている非スケーラブルのストリーミングシステムアーキテクチャと互換性を有するべきであり、汎用MPEG-4ストリーミングサーバがスケーラブルと非スケーラブルの双方の映像フォーマットを配信することを可能にするべきであることを、本発明者は更に認識した。
【００２０】
このため、本発明は、.mp4ファイルフォーマットが階層化映像ストリーミングの要件に明示的に対応しないといいう点で、MPEG-4システムグループにより定められた.mp4ファイルに生じる問題を解決することに関係する。特に、現時点では、複数のRTP接続を生成し、階層化符号化に備えられているスケーラビリティを利用する機構は存在しない。従って、本発明は、サーバが複数のRTP接続を生成し、階層化映像ストリームの各サブレイヤに適応し、チャネル特性や複雑性やクライアントの嗜好等に対する所望の適応を可能にするIPネットワークでスケーラブル符号化映像をストリーミングする体系的なフレームワークを提供する。
【００２１】
MPEG-4標準の詳細な説明はここでは行われないが、その標準の特定の態様の概要は、本発明を理解する際の助けとして提示される。
【００２２】
当初はQuickTimeに基づいているMP4ファイルフォーマットは、メディアの交換、管理、編集及びプレゼンテーションを促進する柔軟な拡張性のあるフォーマットで、MPEG-4プレゼンテーションのメディア情報を含むように設計されている。MP4のメディアデータは記述ヘッダ(description  header)を備えたフレームにカプセル化される。包含ではなく参照によりメディアデータの特性(メディア形式、タイムスタンプ、サイズ等)を記述するために、メタデータが使用される。MPEG-4システムの仕様書は、IPネットワークでの非スケーラブル符号化映像のストリーミングを処理する特有の方法を有するフォーマット特定拡張子として“.mp4”を使用する。符号化コンテンツはメディアトラック(例えば、音声は音声トラック、映像は他のメディアトラック等)として.mp4ファイルフォーマットに格納される(図１参照)。更に、メディアトラック毎に１つの特定のヒントトラックを追加することにより、伝送機構がファイルに格納され得る。そのような機構により、メディアトラックの場合にはメディアデータ自体の単一のコンテナとして、ヒントトラックの場合には伝送特有のデータの単一のコンテナとして、単一のファイルが使用され得る。MPEG-4ファイルフォーマットは標準で定められている。メディアトラックに格納されているデータエントリーはMPEG-4アクセスユニット(MPEG-4  Access  Unit)であり、そのMPEG-4アクセスユニットは一般的にネットワークパケットより大きい。ヒントトラックの役割は、ネットワークパケットが作られる方法、そのネットワークパケットが充填され得る方法についての情報を格納することである。実際に、ヒントトラックは、前セグメント情報を有しており、それにより、各アクセスユニットをネットワークパケットに分割した方法をサーバが認識する。従って、まずメディアトラックを生成し、.mp4ファイルに格納し、このファイルを構文解析してアクセスユニットの構造を分析して適切な追加ヒントトラックを生成するために、別個のヒント器プログラムを使用することができる。
【００２３】
図２は、映像配信システム200を示している。その映像配信システム200において、映像ソース202(例えばカメラ)は、エンコーダ220によりエンコードされる映像コンテンツを生成し、IPネットワーク204で汎用MPEG-4ストリーミングサーバ205を介してクライアント206に配信するため、その映像コンテンツから１つ以上のヒントトラックがヒント器(hinter)230により生成される。ネットワーク204は、インターネットやLAN(ローカルエリアネットワーク)やWAN(広域ネットワーク)やSAN(ストレージエリアネットワーク)や無線ネットワーク(例えば、衛星、セルラ、RF等)を含む多数の異なる種類のネットワークを表す。図示の例は、ネットワーク204での映像コンテンツの配信について説明するが、本発明は、映像や音声やグラフィックやテキスト等を含み得るマルチメディアコンテンツの配信に対してより広い適用性を有する。図２はまた、例えば映像ソース202により生成され得るデジタル映像ファイルを格納する映像記憶ユニット210を示している。
【００２４】
映像エンコーダ220は、ソフトウェア、ファームウェア及び／又はハードウェアで実装されてもよい。エンコーダ220は、説明目的で別個のスタンドアローン型モジュールとして図示されているが、プロセッサ(図示なし)の一部として構成されてもよく、オペレーティングシステム(図示なし)又は他のアプリケーション(図示なし)に組み込まれてもよい。
【００２５】
図３ａは、図２の映像エンコーダ220の更に詳細な説明図である。図示のように、映像エンコーダ220は、下位レイヤ符号化構成要素222と、上位レイヤ符号化構成要素224とを備えている。映像エンコーダ220は、下位レイヤと上位レイヤとを含む複数のレイヤに映像データをエンコードする。下位レイヤ符号化構成要素222は、下位レイヤで映像データをエンコードする。下位レイヤ符号化構成要素222は、FEC(Forward  Error  Correction)技術のような従来の誤り保護技術により保護され得る下位レイヤのエレメンタリビットストリーム(下位レイヤ映像)402(図４参照)を作る。
【００２６】
映像エンコーダ220の上位レイヤ符号化構成要素224は上位レイヤをエンコードする。上位レイヤエンコーダ224は、下位レイヤのビットストリームと無関係に、ネットワーク204で汎用MPEG-4ストリーミングサーバ205を介してクライアント206に全体的又は部分的に送信される単一のエレメンタリビットストリーム(上位レイヤ映像)404(図４参照)を作る。上位レイヤのエンコーダは固有の再同調マークとヘッダ拡張コードを上位ビットストリームに挿入し、上位ビットストリームの構文的意味的誤り検出及び保護を促進する。
【００２７】
図３ｂは、図２のクライアント206の更に詳細な説明図である。図示のように、クライアント206は、プロセッサ330と、メモリ332と、アダプタ340と、再アセンブラ(reassembler)342と、映像デコーダ344と、１つ以上のメディア出力装置346とを備えている。映像デコーダ344は、下位レイヤデコード構成要素352と、上位レイヤデコード構成要素354と、任意選択のビットプレーン符号化構成要素356とを有する。
【００２８】
デコードに続いて、クライアント206はメモリ332に映像を格納し、及び／または１つ以上のメディア出力装置346を介して映像を再生する。クライアント206は、コンピュータ、ハンドヘルドのエンターテイメント装置、セットトップボックス、テレビ、特定用途向け集積回路(ASIC)等を含む多数の異なる方法で具体化されてもよい。
【００２９】
図４は、図２の映像エンコーダ220により実装される階層化符号化機構400を概略的に示している。IPネットワークでの伝送用のスケーラブル符号化ビットストリームを構成するために、ビットストリームは階層的でなければならない。
【００３０】
本発明の原理によると、エンコーダ220は、下位レイヤ(例えば、下位レイヤ映像402)と単一の上位レイヤ(例えば、上位レイヤ映像404)とを含む複数の階層に映像データのフレームを圧縮符号化する。
【００３１】
説明目的で、図４は９個の階層を示している。すなわち、高優先度の部分を構成するエレメンタリビットストリーム(下位レイヤ映像)402と、低優先度の部分を構成するエレメンタリビットストリーム(上位レイヤ映像)404と、下位レイヤのムービートラック406(高優先度の部分)と、上位レイヤのムービートラック408(低優先度の部分)と、エレメンタリビットストリーム(下位レイヤ映像)402用のヒントトラック410と、本発明の主要な特徴である上位レイヤのムービートラック408用の複数のヒントトラック412、414、416、418である。
【００３２】
従来技術の制約を克服するため、変化するチャネル特性と複雑性の制約とユーザの嗜好に適応可能なように、ネットワーク204を通じて映像データの伝送を促進するように、本発明は複数のヒントトラック412、414、416、418を生成する概念を導入する。上位レイヤのムービートラック408のような単一のムービートラックが、ヒントトラック412、414、416、418のような複数のヒントトラックによりヒントされると、上位レイヤのムービートラック408により示されるエレメンタリストリームは、複数のRTP接続によりネットワークで配信される。このように、従来技術では利用可能でない柔軟性が提供され、それによって、ストリーミングシステムはネットワーク状態に映像品質を適応させることが可能になる。すなわち、対応する伝送用エレメンタリビットストリームからデータを抽出するために、これらのヒントトラックのみがサーバで使用される。
【００３３】
換言すると、１つ以上の次の基準：ネットワークの主なトラヒック状態、複雑性の制約、ユーザの嗜好、を満たすように、複数の利用可能なヒントトラック(例えば、412、414、416、418)の中からこれらのヒントトラックのみが使用される。例えば、ネットワーク状態が変化すると、ムービートラック408の伝送を促進するため、複数の利用可能なヒントトラックの中から多少のヒントトラックがサーバにより使用されてもよい。
【００３４】
本発明のその他の主要な特徴は、複数の利用可能なヒントトラック(例えば、412、414、416、418)が、サーバ205のような何らかの汎用MPEG-4ストリーミングサーバにより使用され得るデータ情報を含み、専用又は専門のハードウェアを使用する必要性を不要にしていることである。
【００３５】
上位レイヤのムービートラック408のみが複数のヒントトラック412、414、416、418に仮想的に分割されることもわかる。すなわち、エレメンタリレイヤのムービートラック408は物理的に変更されないままになり、そのため、ローカルでの再生用に元々構成されたように完全に利用可能なままになる。
【００３６】
本発明のマルチトラックのヒンティング機構は前述の階層化符号化の場合に限定されないことも更にわかる。むしろ、その機構は、例えばヒントトラックを異なる種類の各映像フレーム(すなわち、Iフレーム、Pフレーム及びBフレーム)に関連付けることによる映像ストリームに対して、更に一般的な適用性を有している。このように、時間映像スケーラビリティが容易に実現される。
【００３７】
ここに記載されているシステムと機能と方法とモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せで実装され得ることがわかる。これらは、如何なる種類のコンピュータシステム、又はここに記載された方法を実行するように適合された他の装置により実装されてもよい。ハードウェアとソフトウェアの一般的な組み合わせは、コンピュータプログラムがロード及び実行されると、ここに記載されている方法を実行するようにコンピュータシステムを制御するコンピュータプログラムを備えた汎用コンピュータシステムでもよい。代替として、本発明の１つ以上の機能タスクを実行する専門のハードウェアを有する特殊用途コンピュータが使用されてもよい。本発明はまた、コンピュータプログラム製品に組み込まれてもよく、そのコンピュータプログラム製品は、ここに記載されている方法及び機能の実装を可能にする全ての機能を有し、コンピュータシステムにロードされると、その方法及び機能を実行することができる。この文脈におけるコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品又はソフトウェアは、情報処理機能を有するシステムに対して、直接的に又は次：(a)その他の言語、コード又は表記への変換、及び／又は(b)異なる素材形式での複製、のうちの一方若しくは双方の後で特定の機能を実行させることを目的とした命令のセットの如何なる言語、コード又は表記での如何なる表現をも意味する。
【００３８】
本発明の好ましい実施例の前記の説明は、例示及び説明の目的で提示されている。それらは完全であることを目的としているのではなく、また、開示された正確な形式に本発明を限定することを目的としているものではない。前述の教示を鑑みて明らかに多数の変更及び変形が可能である。当業者に明らかなそのような変更及び変形は、特許請求の範囲に記載の本発明の範囲に含まれることを目的としている。
【図面の簡単な説明】
【００３９】
【図１】従来技術によるMPEG-4ムービーファイルの構造である。
【図２】本発明の方法が実装され得る映像配信システムである。
【図３ａ】図２の映像エンコーダ220の更に詳細な説明図である。
【図３ｂ】図２のクライアントの更に詳細な説明図である。
【図４】本発明の一実施例に従ってIPネットワークでの伝送用にスケーラブル符号化ビットストリームを構成する階層化符号化機構の概略図である。
【図１】
2006503517.tif 000003
【図２】
2006503517.tif 000004
【図３ａ】
2006503517.tif 000005
【図３ｂ】
2006503517.tif 000006
【図４】
2006503517.tif 000007
【国際調査報告】
2006503517.tif 000008
2006503517.tif 000009
2006503517.tif 000010