(57)【要約】マークアップ言語（例えば、ＸＭＬ）で記述される文書（２０）を処理する方法が開示される。まず、そのＸＭＬ文書の構造（２１ａ）とテキストコンテンツ（２１ｂ）が分離され、その構造（２２）が、テキストコンテンツ（２３）より前に、例えば、ストリーミングによって送信される。受信した構造（２２）の解析が、テキストコンテンツ（２３）が受信される前に開始される。また、コンテンツ（３１、３２）と記述（３３）コンポーネントを有する少なくとも１つのメディアオブジェクトからストリーム化プレゼンテーション（３７、３８）を生成する方法が開示される。プレゼンテーション記述（３５）は、そのメディアオブジェクトの少なくとも１つのコンポーネント記述から生成され（３６）、次に、コンポーネント記述（３８）とコンテンツ（３７）に関連付けられている基本データストリームを生成するために、プレゼンテーションのコンポーネント記述とコンテンツの配信のスケジュールを調整するための処理がなされる（３４）。コンテンツと記述コンポーネントを有する少なくとも１つのメディアオブジェクトでストリーム化プレゼンテーションを生成する別の方法も開示される。プレゼンテーションテンプレート（５３）が提供され、これは、プレゼンテーション記述（５６）の構造を定義する。このプレゼンテーションテンプレート（５３）は、各記述コンポーネントからプレゼンテーション記述を生成するために、関連メディアオブジェクトの少なくとも１つの記述コンポーネント（５２）に適用される（５４）。次に、プレゼンテーション記述は、ストリーム化プレゼンテーション（５７、５８）を生成するために、各関連メディアオブジェクト（５１）とともに符号化されたストリームとなり、これによって、メディアオブジェクトは、プレゼンテーション記述を使用して再生可能となる。
2004503191.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ及び記述コンポーネントを有する少なくとも１つのメディアオブジェクトからストリーム化プレゼンテーションを生成する方法であって、
前記少なくとも１つのメディアオブジェクトの前記記述コンポーネント記述の少なくとも１つからプレゼンテーション記述を生成する工程と、
前記プレゼンテーションのコンポーネント記述コンポーネントとコンテンツコンポーネントの配信のスケジュールを調整するために前記プレゼンテーション記述を処理し、該コンポーネント記述コンポーネントとコンテンツコンポーネントに関連付けられている基本データストリームを生成する工程と
を備えることを特徴とする方法。
【請求項２】
前記処理は、更に、前記記述コンポーネント記述を複数の前記データストリームに構成する
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記プレゼンテーション記述は、前記記述コンポーネントへのリファレンスを有し、前記記述コンポーネントは前記少なくとも１つのメディアオブジェクトとともにストリーミングされる
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記プレゼンテーション記述は、前記記述コンポーネントをインポートすることによって生成され、前記生成は、前記プレゼンテーション記述と前記少なくとも１つのメディアオブジェクトだけをストリーミングするように動作する
ことを特徴とする請求項１に記載の方法。
【請求項５】
コンテンツ及び記述コンポーネントを有する少なくとも１つのメディアオブジェクトのストリーム化プレゼンテーションを生成する方法であって、
プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも１つの関連メディアオブジェクトの少なくとも１つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程と、
前記ストリーム化プレゼンテーションを生成するために、前記関連メディアオブジェクトのそれぞれを用いて前記プレゼンテーション記述をストリーム符号化する工程とを備え、これによって、前記少なくとも１つのメディアオブジェクトは、前記プレゼンテーション記述を使用して再生可能となる
ことを特徴とする方法。
【請求項６】
記述とともにコンテンツをストリーミングするためのプレゼンテーション記述を生成する方法であって、
プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも１つの関連メディアオブジェクトの少なくとも１つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程とを備え、前記プレゼンテーション記述は、ストリーム化再生用に指定されている記述コンポーネントと、その記述コンポーネントに関連付けられているコンテンツコンポーネント間のシーケンシャル関係を定義している
ことを特徴とする方法。
【請求項７】
更に、前記プレゼンテーション記述を請求項１に記載の方法に適用する
ことを特徴する請求項６に記載の方法。
【請求項８】
前記ストリーム化プレゼンテーションは、記述オブジェクトを参照する少なくとも１つのノードを有する記述ツリーを有する
ことを特徴とする１、５あるいは６のいずれか１項に記載の方法。
【請求項９】
前記ストリーム化プレゼンテーションは、更に、前記メディアオブジェクトの少なくとも１つを参照する少なくとも１つの追加ノードを有する
ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記ストリーム符号化は、
複数のプレゼンテーションシーケンシャル記述オブジェクトを生成するために前記プレゼンテーション記述を解析し、前記記述オブジェクトのそれぞれは少なくとも１つの関連メディアオブジェクトとの関連付けが可能であり、
前記記述オブジェクトと前記関連メディアオブジェクトのストリーム化シーケンスを生成し、前記ストリーム化シーケンスは前記ストリーム化プレゼンテーションである
ことを特徴とする請求項１、５あるいは６のいずれか１項に記載の方法。
【請求項１１】
前記記述オブジェクトと前記関連メディアオブジェクト間の関係は、前記ストリーム化プレゼンテーションの一部を構成する追加オブジェクトによって定義され、前記追加オブジェクトのそれぞれは、前記記述オブジェクトと前記メディアオブジェクトの少なくとも１つを参照するノードを有するツリー構造を有する
ことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記プレゼンテーション記述は、タイムシーケンシャル方法によって再生することが意図されているコンテンツを記述するＸＭＬ文書からなる
ことを特徴とする請求項１、５あるいは６のいずれか１項に記載の方法。
【請求項１３】
前記プレゼンテーション記述は、前記メディアオブジェクトと前記記述のタイミングと同期を特定するために使用されるＳＭＩＬ記述を変更することによって生成される
ことを特徴とする請求項１、５あるいは６のいずれか１項に記載の方法。
【請求項１４】
複数の記述オブジェクト間に配置されている複数のコンテンツオブジェクトを有するストリーム化プレゼンテーションであって、前記記述オブジェクトは前記コンテンツオブジェクトから再生可能なマルチメディアコンテンツへのリファレンスを有する
ことを特徴とするストリーム化プレゼンテーション。
【請求項１５】
プレゼンテーションのツリー構造を表す第１ストリームと、前記ツリー構造からそれぞれ参照されるオブジェクト記述子を有する少なくとも１つの第２ストリームと、前記オブジェクト記述子から参照され、かつ前記プレゼンテーションで再生されることが意図されているコンテンツを有する少なくとも１つの第３ストリームと、前記オブジェクト記述子から参照される前記コンテンツの記述を有する少なくとも１つの第４ストリームを有するストリーム化マルチメディアプレゼンテーション。
【請求項１６】
前記第３ストリームは、ＭＰＥＧ−４ストリームを有する
ことを特徴とする請求項１５に記載のストリーム化マルチメディアプレゼンテーション。
【請求項１７】
前記第２ストリームは、前記第４ストリームで表現されるＭＰＥＧ−７情報を参照するＵＲＩを有するオブジェクトコンテンツ情報ストリームを有する
ことを特徴とする請求項１６に記載のストリーム化マルチメディアプレゼンテーション。
【請求項１８】
ＸＭＬ文書を配信する方法であって、
ＸＭＬテキストからＸＭＬ構造を分離するために、前記ＸＭＬ文書を分割する工程と、
複数のデータストリームで前記ＸＭＬ文書を配信する工程とを備え、前記ストリームの少なくとも１つは、前記ＸＭＬ構造と、前記ＸＭＬテキストを有する前記ストリームとは別の少なくとも１つを有する
ことを特徴とする方法。
【請求項１９】
前記分割は、前記ＸＭＬ文書をツリー表現に変換する
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記ツリー表現は、幅優先方法で分割される
ことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記ツリー表現は、深度優先方法で分割される
ことを特徴とする請求項１９に記載の方法。
【請求項２２】
マークアップ言語で記述されている文書を処理する方法であって、
前記文書を構造及びテキストコンテンツに分離する工程と、
前記テキストコンテンツの前に前記構造を送信する工程と、
前記テキストコンテンツが受信される前に、前記構造の解析を開始する工程と
を備えることを特徴とする方法。
【請求項２３】
前記構造の解析の結果、必要とされないテキストコンテンツが検出される場合、あるいは解釈ができないテキストコンテンツである場合、前記テキストコンテンツを無視する工程を更に備える
ことを特徴とする請求項２２に記載の方法。
【請求項２４】
前記無視する工程は、無視されるべき前記テキストコンテンツのバッファリングを禁止する
ことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記マークアップ言語は、ＸＭＬである
ことを特徴とする請求項２２に記載の方法。
【請求項２６】
前記分離する工程は、前記構造と前記テキストコンテンツを２つのストリームとして符号化する
ことを特徴とする請求項２２に記載の方法。
【請求項２７】
前記文書はツリー階層表現として生成され、前記分離する工程は、更に、前記２つのストリームを生成するために、深度優先形態で前記文書を解釈する
ことを特徴とする請求項２６に記載の方法。
【請求項２８】
前記文書はツリー階層表現として生成され、前記分離する工程は、更に、前記２つのストリームを生成するために、幅優先形態で前記文書を解釈する
ことを特徴とする請求項２６に記載の方法。
【請求項２９】
請求項１乃至１２あるいは請求項１７乃至２８のいずれか１項に記載の方法を実行する装置。
【請求項３０】
請求項１乃至１２あるいは請求項１７乃至２８のいずれか１項に記載の方法に従うストリーム化プレゼンテーション生成処理をコンピュータに実行させるように構成されているプログラムが記憶されているコンピュータ可読媒体。
【請求項３１】
図面の図２、図３及び図４Ｃを参照して実質的に説明されるストリーム化記述を有するストリーム化プレゼンテーションを生成する方法。
【請求項３２】
図面の図２、図５及び図４Ｃを参照して実質的に説明されるストリーム化記述を有するストリーム化プレゼンテーションを生成する方法。
【請求項３３】
図面の図４Ｂあるいは図４Ｃを参照して実質的に説明されるストリーム化プレゼンテーション。
【発明の詳細な説明】
【０００１】
発明の技術分野
本発明は、一般的には、マルチメディアの配信に関するものであり、特に、種々のタイプのアプリケーションにおけるマルチメディア記述の配信に関するものである。本発明は、改訂ＭＰＥＧ−７規格に対する特定アプリケーションを有しているが、これに限定されるものではない。
背景技術
マルチメディアは、テキスト、オーディオ及びイメージのようなメディアの提供あるいは、そのメディアへのアクセスとして定義でき、この場合、アプリケーションは、メディアタイプのある範囲を処理あるいは操作することができる。ビデオへのアクセスが要求されることは例外なことではなく、アプリケーションはオーディオとイメージの両方を処理しなければならない。このようなメディアには、コンテンツを記述し、かつ他のコンテンツへのリファレンスを含むテキストがたいてい付け加えられている。このように、マルチメディアは、コンテンツと記述とで生成されるものとして都合よく参照することができる。この記述は、通常、メタデータによって構成され、このメタデータは、他のデータを記述するために使用される実際のオーディオデータである。
【０００２】
ワールドワイドウェブ（ＷＷＷあるいは「Ｗｅｂ」）は、クライアント／サーバ構成を使用している。Ｗｅｂを介する伝統的なマルチメディアへのアクセスには、サーバを介して利用可能なデータベースへアクセスする各クライアントを必要とする。クライアントは、マルチメディア（コンテンツ及び記述）をローカル処理システムへダウンロードし、このローカル処理システムでは、マルチメディアを、そのコンテンツを記述に従ってコンパイルし再生することによって利用することができる。この記述は「静的」であり、この場合、コンテンツあるいはその一部を再生するために、記述全体は通常クライアントで利用可能でなければならない。このような伝統的なアクセスでは、クライアントの要求と実際の再生時間との間の遅延の問題があり、かつサーバと、そのメディアコンポーネントが配信されるローカル処理システムとそのサーバとを接続する通信ネットワークの両方の突発的な負荷の問題がある。このような形態では、マルチメディアのリアルタイム配信及び再生は、通常、実現できない。
【０００３】
改訂ＭＰＥＧ−７規格は、ＭＰＥＧ−７記述用にいくつかの潜在的なアプリケーションを認定している。様々なＭＰＥＧ−７の「プル」あるいは検索アプリケーションは、データベースへのクライアントアクセスとオーディオ−ビジュアルアーカイブを含んでいる。「プッシュ」アプリケーションは、コンテンツの選択及びフィルタリングに関係し、かつ配信（ｂｒｏａｄｃａｓｔｉｎｇ）で使用される、また、無線周波数伝播によって放送路を介してメディアを配信する「ウェブキャスティング」の既存の概念は、Ｗｅｂ構造化リンクを介する放送である。最も基本的な構成でのウェブキャスティングは、静的記述とストリーム化コンテンツを必要とする。しかしながら、ウェブキャスティングは、任意のコンテンツが受信される前に、通常、記述全体のダウンロードを必要とする。好ましくは、ウェブキャスティングは、コンテンツとともに受信される、あるいはコンテンツに関連付けられているストリーム化記述を必要とする。どちらのアプリケーションのタイプも、メタデータを使用することはかなり有効である。
【０００４】
Ｗｅｂは、多くの人々にとって、オーディオ−ビジュアル（ＡＶ）コンテンツをサーチし、検索するための主要な媒体となりつつある。通常、情報を取得する場合、クライアントがクエリーを発行し、サーチエンジンが、自身のデータベースと関連コンテンツ用のリモートデータベースの少なくとも一方をサーチする。ＸＭＬ文書を使用して構成されるＭＰＥＧ−７記述は、より有効で効率的なサーチを可能にする、これは、ＭＰＥＧ−７では、周知の標準化記述子及び記述スキームの体系が使用されているからである。それにもかかわらず、ＭＰＥＧ−７記述は、Ｗｅｂで利用可能なすべてのコンテンツ記述の（わずかな）一部だけを生成するようになっている。ＭＰＥＧ−７記述に対して、Ｗｅｂ上の他のＸＭＬ文書と同様の方法で、サーチ可能で、かつ検索可能（あるいはダウンロード可能）とすることが要求されており、これは、Ｗｅｂのユーザは、ＡＶコンテンツを記述とともにダウンロードすることを期待あるいは要望していないからである。いくつかの場合では、ＡＶコンテンツよりもむしろ記述は、必要なものとなっている。それ以外の場合では、ユーザは、コンテンツをダウンロードするかストリーミングするかを決定する前に、記述を確認することを要望している。
【０００５】
ＭＰＥＧ−７記述子及び記述スキームは、Ｗｅｂ上で使用される（周知の）用語群のサブセットだけである。ＸＭＬの用語を使用すると、ＭＰＥＧ−７記述子及び記述スキームは要素であり、かつＭＰＥＧ−７ネーム空間で定義されるタイプである。また、Ｗｅｂユーザは、ＭＰＥＧ−７の要素及びタイプが他のネーム空間の要素及びタイプと併せて使用できることを期待している。広く使用されている他の用語を除外して、かつ全てのＭＰＥＧ−７記述が標準化ＭＰＥＧ−７記述子及び記述スキーム及びその派生のみで構成されるように制限すると、ＭＰＥＧ−７規格を著しく柔軟性に欠けさせ、かつ使用不可能にしてしまう。広く受け入れられる方法は、記述において、複数のネーム空間の用語を含ませることと、かつアプリケーションが解釈する（ＭＰＥＧ−７を含む任意のネーム空間）の要素を処理し、かつ解釈されない要素は無視することをアプリケーションに許容することである。
【０００６】
ダウンロードを行い、マルチメディア（例えば、ＭＰＥＧ−７）記述をより効果的に記憶するために、その記述を圧縮することができる。いくつかの符号化フォーマットがＸＭＬ用に提案されており、これには、無線アプリケーションプロトコル（ＷＡＰ）から導出されるＷＢＸＭＬを含んでいる。ＷＢＸＭＬでは、頻繁に使用されるＸＭＬタグ、属性及び値は、グローバルコード空間の固定コードセットに割り当てられている。文書インスタンス内で繰り返されるアプリケーション専用タグ名、属性名及びいくつかの属性値は、いくつかのローカルコード空間のコードに割り当てられている。ＷＢＸＭＬは、ＸＭＬ文書の構造を予約している。文書タイプ定義（ＤＴＤ）で定義されていないコンテンツと属性値は、ラインあるいはストリングテーブルに記憶することができる。ＷＢＸＭＬを使用する符号化例が図１Ａ及び図１Ｂに示されている。図１Ａは、ＷＢＸＭＬ用の符号化ルールを定義する様々なコード空間１２に従うインタプリタ１４によってＸＭＬソース文書１０がどのように処理されるかを示している。インタプリタ１４は、ＷＢＸＭＬ規格に従う通信に適している符号化文書１６を生成する。図１Ｂは、文書１６によって生成されるデータストリーム中の各トークンの記述を示している。
【０００７】
ＷＢＸＭＬは、ＸＭＬタグと属性をトークンに符号化するが、ＸＭＬ記述のテキストコンテンツには圧縮は実行されない。これは、従来のテキスト圧縮アルゴリズムを使用して達成することができるが、プリミティブデータタイプの属性値をより効率的に圧縮することを可能にするためにＸＭＬのスキーマ及びデータタイプを利用することが好ましい。
【０００８】
本発明の要約
本発明の目的は、マルチメディア記述のストリーミングをサポートするための既存の構成の１つ以上の欠点を実質的に解消あるいは少なくとも改善することである。
【０００９】
本発明の一般的な構成は、記述をストリーミングし、かつＡＶ（オーディオ−ビジュアル）コンテンツとともに記述をストリーミングするために提供する。ＡＶコンテンツとともに記述をストリーミングする場合、そのストリーミングは、「記述−中心」あるいは「メディア−中心」とすることができる。このストリーミングは、アップストリームチャネルでユニキャストあるいはブロードキャストすることができる。
【００１０】
本発明の第１の構成に従えば、コンテンツ及び記述コンポーネントを有する少なくとも１つのメディアオブジェクトからストリーム化プレゼンテーションを生成する方法が提供され、この方法は、
前記少なくとも１つのメディアオブジェクトのコンポーネント記述の少なくとも１つからプレゼンテーション記述を生成する工程と、
前記プレゼンテーションのコンポーネント記述とコンテンツの配信のスケジュールを調整するために前記プレゼンテーション記述を処理し、該コンポーネント記述とコンテンツに関連付けられている基本データストリームを生成する工程と　を備える。
【００１１】
本発明の別の構成に従えば、コンテンツとともに記述をストリーミングするためにプレゼンテーション記述を生成する方法が開示され、この方法は、
プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも１つの関連メディアオブジェクトの少なくとも１つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程とを備え、前記プレゼンテーション記述は、ストリーム化再生用に指定されている記述コンポーネントと、その記述コンポーネントに関連付けられているコンテンツコンポーネント間のシーケンシャル関係を定義している。
【００１２】
本発明の別の構成に従えば、複数の記述オブジェクト間に配置されている複数のコンテンツオブジェクトを有するストリーム化プレゼンテーションが開示され、前記記述オブジェクトは前記コンテンツオブジェクトから再生可能なマルチメディアコンテンツへのリファレンスを有する。
【００１３】
本発明の別の構成に従えば、ＸＭＬ文書を配信する方法が開示され、この方法は、
ＸＭＬテキストからＸＭＬ構造を分離するために、前記ＸＭＬ文書を分割する工程と、
複数のデータストリームで前記ＸＭＬ文書を配信する工程とを備え、前記ストリームの少なくとも１つは、前記ＸＭＬ構造と、前記ＸＭＬテキストを有する前記ストリームとは別の少なくとも１つを有する。
【００１４】
本発明の別の構成に従えば、マークアップ言語で記述されている文書を処理する方法が開始され、この方法は、
前記文書を構造及びテキストコンテンツに分離する工程と、
前記テキストコンテンツの前に前記構造を送信する工程と、
前記テキストコンテンツが受信される前に、前記構造の解析を開始する工程と
を備える。
【００１５】
本発明の他の目的も開示される。
【００１６】
最良形態を含む詳細説明
説明する実施形態はそれぞれ、ＸＭＬ文書となる関連マルチメディア記述に基づいている。ＸＭＬ文書は、通常、そのロー（ｒａｗ）テキストフォーマットで記憶され、かつ送信される。いくつかのアプリケーションでは、ＸＭＬ文書は、記憶あるいは送信用にいくつかの伝統的なテキスト圧縮アルゴリズムを使用して圧縮され、それらが解析されかつ処理される前には、ＸＭＬに復元される。圧縮は、大幅にＸＭＬ文書のサイズを削減することができる、つまり、文書の読出あるいは送信時間を削減することができるが、文書が解析されかつ処理できるようになる前には、アプリケーションは、いまだなお、ＸＭＬ全体を受信しなければならない。伝統的なＸＭＬ解析器は、ＸＭＬ文書が適格になる（即ち、文書が、マッチングし、重複しないスタートタグとエンドタグのペアを有する）ことを期待しており、また、ＸＭＬ文書全体が受信されるまでは、ＸＭＬ文書の解析を完了することができない。ストリーム化ＸＭＬ文書のインクリメンタル解析は、通常のＸＭＬ解析器を使用して実行することはできない。
【００１７】
ＸＭＬ文書のストリーミングは、ＸＭＬ文書のある程度の部分を受信すると、解析及び処理を開始することを許容している。このような機能は、狭帯域幅通信リンク及びリソースがかなり制限されているデバイスの少なくとも一方の場合に最も有益である。
【００１８】
ＸＭＬ文書のインクリメンタル解析を達成する方法の１つには、幅優先（ｂｒｅａｄｔｈ−ｆｉｒｓｔ）あるいは深度優先（ｄｅｐｔｈ−ｆｉｒｓｔ）方法でＸＭＬ文書のツリー階層（例えば、文書の主要（Ｄｏｍｉｎａｎｔ）オブジェクトモデル（ＤＯＭ）表現）を送信することである。このような処理をより有効に行うために、文書のＸＭＬ（ツリー）構造は、文書のテキストコンポーネントから分離でき、かつテキストを送信する前に符号化することができる。ＸＭＬ構造は、テキストを解釈するためのコンテキストの提供においては重要である。２つのコンポーネントへの分離は、デコーダ（解析器）に、より高速に文書構造を解析させることを可能にし、かつ、必要としないあるいは解釈することができない要素を無視させることができる。このようなデコーダ（解析器）は、後の段階で到来する任意の無関係なテキストをバッファしないように選択することができる。デコーダが符号化文書をＸＭＬに変換するかしないかは、アプリケーションに依存している。
【００１９】
ＸＭＬ構造は、テキストの解釈において必要である。加えて、異なる符号化スキームは構造及びテキスト用に通常使用されるが、一般的には、構造情報はテキストコンテンツよりもかなり少なく、２（あるいはそれ以上）のストリームが、構造及びテキストを配信するために使用することができる。
【００２０】
図２は、ＸＭＬ文書２０のストリーミング方法の１つを示している。まず、文書２０は、ＤＯＭ表現２１に変換され、これは、深度優先形式でストリーム化される。ＤＯＭ表現２１のツリー２１ａとテキストコンテンツ２１ｂで示される文書２０の構造は、２つのストリーム２２及び２３として符号化される。コードテーブル２４は、構造ストリーム２３の先頭にある。ＤＯＭ表現２１のノードを示す各符号化ノード２５は、対応する子ノードの全サイズを含む自身のサイズを示すサイズフィールドを有している。符号化リーフノードと属性ノードの適切な場所は、テキストストリーム２３中でそれに対応する符号化コンテンツ２７に対するポインタ２６を含んでいる。ストリングのサイズを示すサイズフィールドは、テキストストリーム中の各符号化ストリングの先頭にある。
【００２１】
マルチメディア（例えば、ＭＰＥＧ−７）記述のすべてが、コンテンツとともにストリーミングされる、あるいはプレゼンテーションとして提供される必要はない。例えば、テレビとフィルムアーカイブは、アナログテープを含むいくつかの異なるフォーマットで大量のマルチメディア媒体を記憶する。ムービー記述をストリーミングすることはできないが、このムービーは、実際のムービーのコンテンツとともにアナログテープに記録されている。同様に、患者の医療記録のマルチメディア記述の処理もマルチメディアプレゼンテーションとして理解できるように記録する。類似点としては、同期マルチメディア統合言語（ＳＭＩＬ）プレゼンテーションが自身のＸＭＬ文書である一方、ＸＭＬ文書のすべてがＳＭＩＬプレゼンテーションとはならないことである。実際には、ごく少数のＸＭＬ文書だけがＳＭＩＬプレゼンテーションとなっている。ＳＭＩＬはプレゼンテーションスクリプトを生成するために使用することができ、これは、ローカルプロセッサでいくつかのローカルファイルあるいはリソースから出力プレゼンテーションをコンパイルさせることができる。ＳＭＩＬは、タイミングと同期モデルを特定するが、コンテンツあるいは記述のストリーミング用のビルトインサポートは持っていない。
【００２２】
図３は、コンテンツとともに記述をストリーミングするための構成３０を示している。いくつかのマルチメディアリソースが、オーディオファイル３１及びビデオファイル３２を含むように示されている。リソース３１及び３２の関係は、それぞれがいくつかの記述と記述子の関係で通常生成されている記述３３からなる。重要なことは、記述３３とコンテンツファイル３１及び３２とが一対一の関係である必要がないことである。例えば、１つの記述は、いくつかのファイル３１及び３２の少なくとも一方と関連していても良く、あるいは任意の１つのファイル３１あるいは３２が１つ以上の記述と関連付けられていても良い。
【００２３】
図３に示されるように、プレゼンテーション記述３５は、記述中心ストリーミング方法を介して復元したいマルチメディアプレゼンテーションの一時的な動作を記述するために提供される。プレゼンテーション記述３５は、編集ツールと標準化プレゼンテーション記述スキーム３６を使用して、マニュアルであるいはインタラクティブに生成することができる。スキーム３６は、マルチメディアオブジェクトと指定のマルチメディアプレゼンテーションのレイアウト間でハイパーリンクを定義するための要素と属性を利用している。プレゼンテーション記述３５は、ストリーミングプロセスを動作させるために使用することができる。好ましくは、プレゼンテーション記述は、ＸＭＬ文書であり、これは、ＳＭＩＬベースの記述スキームを使用している。
【００２４】
プレゼンテーション記述スキーム３６の情報を有するエンコーダ３４は、プレゼンテーション記述３５を解釈して、指定のマルチメディアプレゼンテーションの内部タイムグラフを構築する。タイムグラフは、様々なリソース間のプレゼンテーションスケジュールと同期関係のモデルを形成する。タイムグラフを使用すると、エンコーダ３４は、必要なコンポーネントの配信をスケジュールを調整して、送信する予定の基本データストリーム３７及び３８を生成する。好ましくは、エンコーダ３４は、コンテンツの記述３３を複数のデータストリーム３８に分割する。エンコーダ３４はＵＲＩテーブルを構築することによって動作することが好ましく、このＵＲＩテーブルは、ＡＶコンテンツ３１、３２及び記述３３に含まれるＵＲＩリファレンスを対応する基本（ビット）ストリーム３７及び３８のローカルアドレス（例えば、オフセット）へマッピングする。送信中のストリーム３７及び３８はデコーダ（不図示）で受信され、デコーダはＵＲＩリファレンスを復号するための試行を行う場合にＵＲＩテーブルを使用する。
【００２５】
プレゼンテーション記述スキーム３６は、いくつかの場合、ＳＭＩＬに基づいていても良い。開発中のＭＰＥＧ−４は、ＳＭＩＬベースのプレゼンテーション記述をＭＰＥＧ−４ストリームで処理することを可能にする。
【００２６】
ＭＰＥＧ−４プレゼンテーションは、シーンを構成する。ＭＰＥＧ−４のシーンは、シーングラフと呼ばれる階層構造となっている。シーングラフの各ノードは、コンパウンドあるいはプリミティブメディアオブジェクトである。コンパウンドメディアオブジェクトは、プリミティブメディアオブジェクトをグループ化したものである。プリミティブメディアオブジェクトは、シーングラフのリーフに対応し、かつＡＶメディアオブジェクトである。シーングラフは、静的である必要はない。ノード属性（例えば、位置決めパラメータ）は変更でき、かつノードは追加、再配置あるいは削除することができる。ここで、シーン記述ストリームは、シーングラフを送信するために使用することができ、シーングラフに更新する。
【００２７】
ＡＶメディアオブジェクトは、ストリーミングデータに依存することができ、これは１つ以上の基本ストリーム（ＥＳ）で搬送される。１つのメディアオブジェクトに関連付けられているすべてのストリームは、オブジェクト記述子（ＯＤ）によって識別される。しかしながら、異なるコンテンツを表現するストリームは、専用オブジェクト記述子を介して参照されなければならない。追加補助情報は、ＯＣＩとして（オブジェクトコンテンツ情報）、テクスト形式のオブジェクト記述子に添付することができる。ＯＣＩストリームをオブジェクト記述子に添付することもできる。ＯＣＩストリームは、ＯＣＩイベントのセットを搬送し、これは、それらの開始時間と期間によって修正される。ＭＰＥＧ４プレゼンテーションの基本ストリームは、その概要が図８に示されている。
【００２８】
ＭＰＥＧ−４では、ＡＶオブジェクトに関する情報が、オブジェクトコンテンツ情報（ＯＣＩ）記述子あるいはストリームを使用して、記憶されかつ送信される。ＡＶオブジェクトは、関連ＯＣＩ記述子あるいはストリームへのリファレンスを含んでいる。図４Ａに示されるように、このような構成は、記述及びコンテンツ間の特定一時関係と、ＡＶオブジェクトとＯＣＩ間の１対１の関係を必要とする。
【００２９】
しかしながら、通常は、マルチメディア（例えば、ＭＰＥＧ−７）記述は、特定ＭＰＥＧ−４　ＡＶ　オブジェクトあるいはシーングラフ用には記述されておらず、実際には、ＭＰＥＧ−４　ＡＶ　オブジェクトとプレゼンテーションを構成するシーングラフの特定情報を使用しないで記述されている。記述は、通常、ＡＶコンテンツの情報の上位レベルビューを提供する。ここで、記述の一時的な概念は、ＭＰＥＧ−４　ＡＶ　オブジェクトとシーングラフの概念に沿っていない可能性がある。例えば、ＭＰＥＧ−７記述で記述されるビデオ／オーディオセグメントは、任意のＭＰＥＧ−４ビデオ／オーディオストリームあるいはシーン記述ストリームに対応していない。セグメントは、ビデオストリームの最終部分と、次のビデオストリームの開始部分を記述することができる。
【００３０】
本開示は、マルチメディア記述あるいはそれらの各フラグメントがＡＶオブジェクトの別のクラスとして扱われる場合に、より柔軟で矛盾のない方法を提供するものである。つまり、他のＡＶオブジェクトのように、各記述は、自身の一時的なスコープ（ｓｃｏｐｅ）とオブジェクト記述子（ＯＤ）を有している。シーングラフは、新規な（例えば、ＭＰＥＧ−７）記述ノードをサポートするために拡張されている。このような構成を用いることで、マルチメディア（例えば、ＭＰＥＧ−７）記述フラグメントを送信することができ、これは、他のＡＶメディアオブジェクトの一時的なスコープとは関係なく、１つのデータストリームあるいは分離されたストリームとして、種々の一時的なスコープのサブフラグメントを有している。このようなタスクは、エンコーダ３４によって実行され、かつ図４ＡのＭＰＥＧ−４に適用される、このような構造の例は、図４Ｂに示されている。図４Ｂにおいて、ＯＣＩストリームは、必要に応じて、関連記述フラグメント及び他のＡＶオブジェクト特定情報のリファレンスを含ませるためにも使用される。
【００３１】
他のＡＶオブジェクトと同じ方法でＭＰＥＧ−７記述を処理することは、プレゼンテーション記述スキーム３６のメディアオブジェクト要素にマッピングすることができ、かつ同一のタイミング及び同期モデルにすることができることを意味している。具体的には、ＳＭＩＬベースのプレゼンテーション記述スキーム３６の場合では、新規のメディアオブジェクト要素、例えば、＜ｍｐｅｇ７＞タグを定義することができる。選択的には、ＭＰＥＧ−７記述は、特定タイプのテキスト（例えば、イタリックで表現される）として取り扱うことができる。ここで、共通メディアオブジェクト要素＜ｖｉｄｅｏ＞、＜ａｕｄｉｏ＞、＜ａｎｉｍａｔｉｏｎ＞、＜ｔｅｘｔ＞等は、ＳＭＩＬで予め定義されている。記述ストリームは、更に、構造ストリームとテキストストリームに分割することができる。
【００３２】
図４Ｃでは、マルチメディアストリーム４０は、オーディオストリーム４１とビデオストリーム４２を含むように示されている。また、メディアオブジェクトの（コンパウンドあるいはプリミティブ）ノードからなり、かつリーフノード（プリミティブメディアオブジェクトである）を有する上位レベルシーン記述ストリーム４６が含まれており、これは、オブジェクト記述子ストリーム４７を構成するオブジェクト記述子ＯＤｎを示している。下位レベル記述ストリーム４３、４４及び４５も示されており、これらはそれぞれ、オーディオ及びビデオストリーム４１及び４２として、オブジェクト記述ストリーム４７を示すあるいはリンクされるように構成されているコンポーネントを有している。このようなオブジェクト指向ストリーミングがメディアオブジェクトとしてコンテンツと記述を扱うことで、記述とコンテンツ間の一時的な不定関係は、ストリームに組み込まれている一時的なオブジェクト記述を介して提供することができる。
【００３３】
コンテンツとともに記述をストリーミングする上述の方法は、記述がコンテンツと一時的にある程度の関係を有している場合に適している。この例として、ムービーの特定シーンの記述がある。これは、複数のカメラアングルを提供する、つまり、視聴者に複数のビデオストリームへのアクセスを可能にする。これは、１つのビデオストリームが、実際には会話、ムービーをリアルタイム動作で視聴することができるようにするためである。これは、任意の記述と対比されるべきであり、この任意の記述は、ストリーム化コンテンツと一時的に定義可能な関係を有していない。このような例は、ムービーの新聞の論評のテキストレビューであっても良い。このようなレビューは、シーンとキャラクタの一時的かつ部分的なリファレンスに対し、テキストリファレンスとなっていても良い。任意の記述のプレゼンテーションへの変換は、非自明な（かつたいていは不可能な）タスクである。ＡＶコンテンツの記述のほとんどは、プレゼンテーションを考慮して記述されていない。これらは、単に、コンテンツと、大まかな様々なレベルで、かつ種々の相対関係にある他のオブジェクトとの関係を記述している。プレゼンテーション記述スキーム３６を使用しない記述からのプレゼンテーションの生成は、プレゼンテーション記述３５のシステム的な生成に対して、特定アプリケーションのユーザ操作によって最適に作成される任意の決定を含んでいる。
【００３４】
図５は、コンテンツとともに記述をストリーミングする別の構成５０を示しており、本発明の発明者は、これを「メディア−中心（ｃｅｎｔｒｉｃ）」と呼んでいる。ＡＶコンテンツ５１とそのコンテンツ５１の記述５２はコンポーザ５４へ提供され、また、プレゼンテーションテンプレート５３とともに入力され、これはプレゼンテーション記述スキーム５５の情報を有している。コンテンツ５１は、ビデオとそのオーディオトラックを初期ＡＶメディアオブジェクトとして示されるように示しているが、初期ＡＶオブジェクトは実際のマルチメディアプレゼンテーションとすることができる。
【００３５】
メディア−中心ストリーミングでは、ＡＶメディアオブジェクトは、最終プレゼンテーションのＡＶコンテンツ５１とタイムラインを提供する。これは、プレゼンテーションのタイムラインを提供するプレゼンテーション記述である記述中心ストリーミングとは対照的である。ＡＶコンテンツの関連情報はコンポーザ５４によってコンテンツの記述５２のセットから取得され、最終プレゼンテーションのコンテンツとともに配信される。コンポーザ５４から出力される最終プレゼンテーションは、上述の図３の構成のような、あるいはすべての関連コンテンツのプレゼンテーション記述５６のような、基本ストリーム５７及び５８の形式となっている。
【００３６】
プレゼンテーションテンプレート５３は、必要とされ、かつ最終プレゼンテーションに対しては省略されるべきである記述要素のタイプを特定するために使用される。テンプレート５３は、必要とされる記述がどのようにしてプレゼンテーションへ組み込まれるべきかを示す命令を含んでいても良い。ＸＳＬ変換（ＸＳＬＴ）のような既存言語が、テンプレートを特定するために使用されても良い。ソフトウェアアプリケーションとして実行することができるコンポーザ５４は、コンテンツを記述するのに必要な記述のセットを解析し、かつプレゼンテーションのタイムラインに組み込むための必要な要素（任意の関連サブ要素）を抽出する。必要な要素は、プレゼンテーション用に有益なＡＶコンテンツに関する記述情報を含む要素であることが好ましい。加えて、選択要素（ＩＤＲＥＦあるいはＵＲＩリファレンス）によって参照される要素（同一セットの記述からの）も含まれ、かつこれらの対応する参照要素（「リファラー」）より前にストリーミングされる。これは、選択要素を、そのリファレンスの要素によって（直接的あるいは間接的）に順番に参照することが可能である。選択要素は、別の選択要素に対するフォワードリファレンスを有することこも可能である。適切な学習を、このような要素がストリーミングされる順番を判定するために使用することができる。プレゼンテーションテンプレート５３も、このような状況を回避するために構成することができる。
【００３７】
コンポーザ５４は、基本ストリーム５７、５８を直接生成するあるいは、最終プレゼンテーションをプレゼンテーション記述５６を出力する、これは、周知のプレゼンテーション記述スキーム５５と一致する。
【００３８】
図６は、コンポーザアプリケーション５４がＸＳＬＴベースのプレゼンテーションテンプレート６０をどのようにして使用して、必要な記述フラグメントをムービー記述６２から抽出し、ＳＭＩＬのようなプレゼンテーション記述６４（あるいはプレゼンテーション記述）を生成するかの例を示している。ＳＭＩＬの＜ｐａｒ＞は、開始時間と、同時に提示対象となるメディアオブジェクト群の期間を特定する。プレゼンテーション記述６４で示される＜ｍｐｅｇ７＞要素は、例えば、ＭＰＥＧ−７記述フラグメントを識別する。この記述は、ＵＲＩリファレンスによってインラインあるいは参照されても良い。ｓｒｃ属性は、関連記述（フラグメント）に対するＵＲＩリファレンスを含んでいる。プレゼンテーション記述６４のｃｏｎｔｅｎｔ属性は、これに含まれる記述のコンテキストを記述している。＜ｍｐｅｇ７＞タグのような専用要素は、記述フラグメントを特定するためのプレゼンテーション記述スキーム５５で定義することができ、この記述フラグメントは、別々に及び異なる時間の少なくとも一方でプレゼンテーション記述６４でストリーミングすることができる。
【００３９】
プレゼンテーション記述スキーム３６及び５５それぞれをマルチメディアプレゼンテーション記述言語として使用することは、記述中心ストリーミング方法とメディア中心ストリーミング方法である上述の２つの方法との橋渡しを行う。また、スキーム３６及び５５は、アプリケーションレイヤとシステムレイヤ間を明確に分けることを可能にする。具体的には、図５のコンポーザアプリケーション５４は、プレゼンテーションを（プレゼンテーション）記述５６として出力することで、記述５６を図３の構成の入力プレゼンテーション記述３５として使用されることを許容する場合、これによって、システムレイヤに存在するエンコーダ３４に、プレゼンテーション記述５６から必要な基本ストリーム３７、３８を生成することを可能にする。
【００４０】
ＡＶコンテンツとともに記述をストリーミングする場合、ＡＶコンテンツのサイズと比較した場合に記述のサイズをほとんどなくすような、かなり有効な記述の圧縮手段が必要であるかどうかは疑問である。そうでなければ、記述のストリーミングは依然として必要である、これは、ＡＶコンテンツの前に記述全体を送信すること（かつ、配信の場合は、その繰り返し）は、待ち時間が長くなり、デコーダに大容量のバッファが必要となるからである。
【００４１】
マルチメディアプレゼンテーションの部分を生成する記述に対しては、プレゼンテーションのタイムラインに沿って対応するコンテンツの変更が生じる可能性がある。しかしながら、この記述は、実際には「動的」ではない（即ち、時間とともに変化しない）。より正確には、異なる記述あるいは記述の異なる部分の各情報は配信され、かつ別々の時間でプレゼンテーションに組み込まれる。実際に、十分なリソースと帯域幅を利用可能な場合、すべての「静的」記述は、後でプレゼンテーションに組み込むために同時に受信機へ送信することができる。そうでなければ、プレゼンテーションの中で配信され、かつ提示される情報は、一時的な「動的」記述を生成するものとして扱うことができる。
【００４２】
あるタイムインスタンスから次のタイムインスタンスで提供される情報がほとんど変更されていない場合には、更新を、変更されていない情報を繰り返すことなく、変更部分を反映するための更新を送信することができる。提供される要素は、開始時刻と、他のＡＶオブジェクトのような期間（あるいは終了時刻）でタグ付けされていても良い。要素（あるいはコンテキスト）の位置のような他の属性も特定することができる。１つの利用可能な方法は、ＡＶオブジェクトと（フラグメントの）記述のタイミングと同期を特定するための拡張ＳＭＩＬを使用することである。
【００４３】
例えば、サッカーチームのビデオクリップと動作するフラグメントの記述は、以下のＳＭＩＬ風のＸＭＬコードの例１に従って記述することができる。
【００４４】
2004503191.tif 000003
「動的」記述への更新は、注意して適用しなければならない。部分更新は、記述を矛盾状態にする可能性がある。ビデオとオーディオに対し、Ｗｅｂを介する送信中に欠落したデータパケットは、たいていはノイズとして現れる、あるいは認識すらされない。しかしながら、矛盾した記述は、深刻な結果を伴う誤解釈をもたらす可能性がある。例えば、天気予報において、記述の都市の要素が「東京」から「シドニー」へ更新された後に、温度の要素が欠落して更新された場合には、記述は、東京の温度をシドニーの温度として報告することになる。別の例としては、ストリーム化ビデオゲームで接近した状態で航空機の座標を更新した後に、カテゴリの要素の記述が欠落している場合には、「味方の」飛行機が「敵」として誤って区別される可能性がある。
【００４５】
以下の例２で示されるような、更に別の例では、販売カタログ中のアイテム番号が間違った値段でタグ付けされてしまっている。ここで、記述に関連するすべての更新は、一度あるいは所定期間の間だけ適用されなければならない、あるいはまったく適用されてはならない。例えば、以下の販売カタログの例では、１０秒毎に、記述と新規アイテムの値段との照合が提示される。ＳＭＩＬ要素ｐａｒは、関連記述要素のすべてを保持するために使用される。新規のｓｙｎｃ属性は、記述と値段との照合が提示されているかいないかを確認するために使用される。ｄｕｒ属性は、情報が適切な時間期間に対して適用され、かつディスプレイから消去されていることを確認する。
【００４６】
2004503191.tif 000004
ストリーミングデコーダは、ｓｙｎｃｅｄされている要素群をバッファして、かつそれ全体を適用する必要がある。損失情報は許容でき、かつ不完全情報に矛盾はなく、そして、ｓｙｎｃ属性は必要とされない。このような場合、関連要素も、時間期間で配信及び提供の少なくとも一方を実行することができる。これは、以下の例３を使用して説明することができる。
【００４７】
2004503191.tif 000005
記述から何らのヒントなしに、文書ツリーのどの更新同士が関連しており、かグループ化されるべきであるかをシステムレイヤで決定することは、不可能でないとしてもかなり難しい。ここで、システムレイヤは、データストリーム中のグループ化対象の更新を可能とし、かつこのようなグルーピングをアプリケーションに特定させることを可能にする手段（例えば、上述のプレゼンテーション記述例におけるｓｙｎｃ属性）を提供する一方で、実際のグルーピングは、特定アプリケーションでなされるべきである。
【００４８】
アップストリームチャネルがクライアントからサーバへと利用可能である場合、そのクライアントは任意の損失しているあるいは破壊されている更新パケットに対する信号をサーバへ通知することができ、かつそれらの再送信を要求あるいは更新全体を無視することができる。
【００４９】
記述がＡＶコンテンツとともに配信される場合、その記述がＡＶコンテンツと関係のある期間中は、記述のＸＭＬ構造とテキストは一定間隔で繰り返されることが望ましい。これは、ユーザに、任意の時間に記述にアクセス（あるいは関与）することを可能にする。記述は、ＡＶコンテンツほど頻繁に繰り返される必要はない、これは、記述の変更はかなり少なく、かつ同時に、デコーダの終端で計算に使用するリソースの消費は著しく少ないからである。そうでなければ、配信プログラムへのチューニング後に知覚される遅延なしで、ユーザにその記述を使用することを可能にするために、記述は頻繁に繰り返されるべきである。記述が、その記述が繰り返されるレートと同一のレート、あるいはそれより低いレートで変更する場合、「動的に」記述を更新する機能が重要である、あるいは実際に必要であるかは疑問である。
【００５０】
上述のコンテンツとともに記述をストリーミングする方法は、例えば、図７に示されるような汎用コンピュータシステム７００を使用して実施でき、ここで、図２から図６の処理は、コンピュータシステム７００内で動作するアプリケーションプログラムのようなソフトウェアとして実現されても良い。特に、方法の工程は、コンピュータによって実行されるソフトウェアの命令によって達成される。ソフトウェアは２つの部分に分けられても良く、１つは符号化／構築／ストリーミング方法を実行する部分、もう１つは前者の方法とユーザ間のユーザインタフェースを管理するための部分に分けられても良い。ソフトウェアは、例えば、以下に説明される記憶デバイスを含むコンピュータ可読媒体に記憶されていても良い。ソフトウェアは、コンピュータ可読媒体からコンピュータにロードされ、そして、コンピュータによって実行される。ソフトウェアあるいはそれに記録されているコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータでのコンピュータプログラム製品の使用は、本発明の実施形態に従う記述とコンテンツのストリーミング用に有効な装置を達成することが好ましい。
【００５１】
コンピュータシステム７００は、コンピュータモジュール７０１、キーボード７０２及びマウス７０３のような入力デバイス、プリンタ７１５及びディスプレイデバイス７１４を含む出力デバイスからなる。モジュレータ−デモジュレータ（モデム）トランシーバデバイス７１６は、例えば、電話回線７２１あるいは他の機能媒体を介して接続可能な通信ネットワーク７２０との通信用のコンピュータモジュール７０１によって使用される。モデム７１６は、インターネットや、例えば、ローカルエリアネットワーク（ＬＡＮ）あるいはワイドエリアネットワーク（ＷＡＮ）のような他のネットワークシステムへのアクセスを取得するために使用することができる。コンピュータモジュール７０１からブロードキャストあるいはウェブキャストされるストリーム化マルチメディアはこのデバイス７１６を介する。
【００５２】
コンピュータモジュール７０１は、典型的には、少なくとも１つのプロセッサユニット７０５、例えば、半導体ランダムアクセスメモリ（ＲＡＭ）やリードオンリメモリ（ＲＯＭ）で形成されるメモリユニット７０６、ビデオインタフェース７０７、キーボード７０２及びマウス７０３、かつオプションのジョイスティック（不図示）用Ｉ／Ｏインタフェース７１３、モデム用インタフェース７０８を含む入力／出力（Ｉ／Ｏ）インタフェースを含んでいる。記憶デバイス７０９が提供され、かつ典型的には、ハードディスクドライブ７１０及びフロッピー（登録商標）ディスクドライブ７１１が含まれている。磁気テープドライブ（不図示）が使用されても良い。ＣＤ−ＲＯＭドライブ７１２は、通常不揮発データソースとして提供される。コンピュータモジュール７０１のコンポーネント７０５から７１３は、典型的には、関連技術の当業者には周知のコンピュータシステム７００の通常動作モードになる方法で内部バス７０４を介して通信する。本実施形態が実施できるコンピュータプラットフォームの例には、ＩＢＭＰＣ互換機、サンスパークステーションあるいは特に、サーバ形態として提供される場合に、それらから改良されたコンピュータシステムの類を含んでいる。
【００５３】
典型的には、本実施形態のアプリケーションプログラムは、ハードディスクドライブ７１０上に常駐し、プロセッサ７０５によって読み出され、その実行が制御される。プログラム及びネットワーク７２０からフェッチされる任意のデータの中間記憶は、おそらくは、ハードディスクドライブ７１０とともに、半導体メモリ７０６を使用して達成される。ハードディスクドライブ７１０とＣＤ−ＲＯＭ７１２は、マルチメディア記述とコンテンツ情報用のソースを生成することができる。いくつかの例では、アプリケーションプログラムは、ＣＤ−ＲＯＭあるいはフロッピー（登録商標）ディスク上にユーザによって符号化された形で供給され、これらの対応するドライブ７１２あるいは７１１を介して読み出されても良い、あるいは、モデムデバイス７１６を介してネットワーク７２０からユーザによって読み出されても良い。更に、また、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム７００へロードすることもでき、この他のコンピュータ可読媒体には、磁気テープ、ＲＯＭあるいは集積回路、光磁気ディスク、コンピュータモジュールと他のデバイス間の無線あるいは赤外線送信チャネル、ＰＣＭＣＩＡカードのようなコンピュータ可読カード、ｅ−メール送信、ウェブサイト上に記録されている情報を含むインターネット及びイントラネット等の類が含まれる。上述の内容は、関連コンピュータ可読媒体の単なる例示である。他のコンピュータ可読媒体が、本発明の範囲及び精神を逸脱しないで実施することができる。
【００５４】
ストリーミング方法のいくつかの目的は、上述の機能あるいはサブ機能を実行する１つ以上の集積回路のような専用ハードウェアで実現されても良い。このような専用ハードウェアは、グラフィックプロセッサ、デジタル信号プロセッサ、あるいは１つ以上のマイクロプロセッサと関連メモリを含んでいても良い。
【００５５】
産業適用性
本発明の実施形態がマルチメディアコンテンツと記述の配信に適用可能で、かつコンピュータ、データ処理及び電気通信産業に直接関係があることが上述の内容から明らかであろう。
【００５６】
上述の内容は、本発明のいくつかの実施形態を記載しているに過ぎず、変形及び変更の少なくとも一方が、本発明の範囲及び精神から逸脱しないで実現でき、これらの実施形態は例示であり、制限するものではない。
【図面の簡単な説明】
【図１Ａ】
従来のＸＭＬ文書の符号化の例を示す図である。
【図１Ｂ】
従来のＸＭＬ文書の符号化の例を示す図である。
【図２】
ＸＭＬ文書のストリーミングの第１の方法を示す図である。
【図３】
ストリーミングがプレゼンテーション記述によって実行される場合の「記述−中心」ストリーミングの第２の方法を示す図である。
【図４Ａ】
従来のストリームを示す図である。
【図４Ｂ】
本発明の一実施形態に従うストリームを示す図である。
【図４Ｃ】
記述ストリームの好適な分割を示す図である。
【図５】
「メディア−中心」ストリーミングの第３の方法を示す図である。
【図６Ａ】
コンポーザアプリケーションの一例を示す図である。
【図６Ｂ】
コンポーザアプリケーションの一例を示す図である。
【図７】
本発明の実施形態で実施可能な汎用コンピュータの概要ブロック図である。
【図８】
ＭＰＥＧ−４ストリームの概要図である。
【図１Ａ】
2004503191.tif 000006
【図１Ｂ】
2004503191.tif 000007
【図２】
2004503191.tif 000008
【図３】
2004503191.tif 000009
【図４Ａ】
2004503191.tif 000010
【図４Ｂ】
2004503191.tif 000011
【図４Ｃ】
2004503191.tif 000012
【図５】
2004503191.tif 000013
【図６Ａ】
2004503191.tif 000014
【図６Ｂ】
2004503191.tif 000015
【図７】
2004503191.tif 000016
【図８】
2004503191.tif 000017
【国際公開パンフレット】
2004503191.tif 000018
2004503191.tif 000019
2004503191.tif 000020
2004503191.tif 000021
2004503191.tif 000022
2004503191.tif 000023
2004503191.tif 000024
2004503191.tif 000025
2004503191.tif 000026
2004503191.tif 000027
2004503191.tif 000028
2004503191.tif 000029
2004503191.tif 000030
2004503191.tif 000031
2004503191.tif 000032
2004503191.tif 000033
2004503191.tif 000034
2004503191.tif 000035
2004503191.tif 000036
2004503191.tif 000037
2004503191.tif 000038
2004503191.tif 000039
2004503191.tif 000040
2004503191.tif 000041
2004503191.tif 000042
2004503191.tif 000043
2004503191.tif 000044
2004503191.tif 000045
2004503191.tif 000046
2004503191.tif 000047
2004503191.tif 000048
2004503191.tif 000049
2004503191.tif 000050
2004503191.tif 000051
2004503191.tif 000052
2004503191.tif 000053
2004503191.tif 000054
2004503191.tif 000055
2004503191.tif 000056
2004503191.tif 000057
【手続補正書】
【提出日】平成14年3月26日(2002.3.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンテンツ及び記述コンポーネントを有する少なくとも１つのメディアオブジェクトからストリーム化プレゼンテーションを生成する方法であって、
前記少なくとも１つのメディアオブジェクトの前記記述コンポーネント記述の少なくとも１つからプレゼンテーション記述を生成する工程と、
前記プレゼンテーションのコンポーネント記述コンポーネントとコンテンツコンポーネントの配信のスケジュールを調整するために前記プレゼンテーション記述を処理し、該コンポーネント記述コンポーネントとコンテンツコンポーネントに関連付けられている基本データストリームを生成する工程と
を備えることを特徴とする方法。
【請求項２】
前記処理は、更に、前記記述コンポーネント記述を複数の前記データストリームに構成する
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記プレゼンテーション記述は、前記記述コンポーネントへのリファレンスを有し、前記記述コンポーネントは前記少なくとも１つのメディアオブジェクトとともにストリーミングされる
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記プレゼンテーション記述は、前記記述コンポーネントをインポートすることによって生成され、前記生成は、前記プレゼンテーション記述と前記少なくとも１つのメディアオブジェクトだけをストリーミングするように動作する
ことを特徴とする請求項１に記載の方法。
【請求項５】
コンテンツ及び記述コンポーネントを有する少なくとも１つのメディアオブジェクトのストリーム化プレゼンテーションを生成する方法であって、
プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも１つの関連メディアオブジェクトの少なくとも１つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程と、
前記ストリーム化プレゼンテーションを生成するために、前記関連メディアオブジェクトのそれぞれを用いて前記プレゼンテーション記述をストリーム符号化する工程とを備え、これによって、前記少なくとも１つのメディアオブジェクトは、前記プレゼンテーション記述を使用して再生可能となる
ことを特徴とする方法。
【請求項６】
記述とともにコンテンツをストリーミングするためのプレゼンテーション記述を生成する方法であって、
プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも１つの関連メディアオブジェクトの少なくとも１つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程とを備え、前記プレゼンテーション記述は、ストリーム化再生用に指定されている記述コンポーネントと、その記述コンポーネントに関連付けられているコンテンツコンポーネント間のシーケンシャル関係を定義している
ことを特徴とする方法。
【請求項７】
前記メディアオブジェクトを有する前記記述コンポーネントと前記コンテンツコンポーネントの配信のスケジュールを調整し、かつ該記述コンポーネントと前記コンテンツコンポーネントに関連付けられている基本データストリームを有するストリーム化プレゼンテーションを生成するために、更に、前記プレゼンテーション記述を請求項１に記載の方法に適用する
ことを特徴する請求項６に記載の方法。
【請求項８】
前記ストリーム化プレゼンテーションは、記述オブジェクトを参照する少なくとも１つのノードを有する記述ツリーを有する
ことを特徴とする１、５あるいは６のいずれか１項に記載の方法。
【請求項９】
前記ストリーム化プレゼンテーションは、更に、前記メディアオブジェクトの少なくとも１つを参照する少なくとも１つの追加ノードを有する
ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記ストリーム符号化は、
複数のプレゼンテーションシーケンシャル記述オブジェクトを生成するために前記プレゼンテーション記述を解析し、前記記述オブジェクトのそれぞれは少なくとも１つの関連メディアオブジェクトとの関連付けが可能であり、
前記記述オブジェクトと前記関連メディアオブジェクトのストリーム化シーケンスを生成し、前記ストリーム化シーケンスは前記ストリーム化プレゼンテーションである
ことを特徴とする請求項１、５あるいは６のいずれか１項に記載の方法。
【請求項１１】
前記記述オブジェクトと前記関連メディアオブジェクト間の関係は、前記ストリーム化プレゼンテーションの一部を構成する追加オブジェクトによって定義され、前記追加オブジェクトのそれぞれは、前記記述オブジェクトと前記メディアオブジェクトの少なくとも１つを参照するノードを有するツリー構造を有する
ことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記プレゼンテーション記述は、タイムシーケンシャル方法によって再生することが意図されているコンテンツを記述するＸＭＬ文書からなる
ことを特徴とする請求項１、５あるいは６のいずれか１項に記載の方法。
【請求項１３】
前記プレゼンテーション記述は、前記メディアオブジェクトと前記記述のタイミングと同期を特定するために使用されるＳＭＩＬ記述を変更することによって生成される
ことを特徴とする請求項１、５あるいは６のいずれか１項に記載の方法。
【請求項１４】
プレゼンテーションのツリー構造を表す第１ストリームと、前記ツリー構造からそれぞれ参照されるオブジェクト記述子を有する少なくとも１つの第２ストリームと、前記オブジェクト記述子から参照され、かつ前記プレゼンテーションで再生されることが意図されているコンテンツを有する少なくとも１つの第３ストリームと、前記オブジェクト記述子から参照される前記コンテンツの記述を有する少なくとも１つの第４ストリームを有するストリーム化マルチメディアプレゼンテーションであって、前記ツリー構造は、前記プレゼンテーションが前記第２、第３及び第４データストリームから生成される場合の方法を定義する
ことを特徴とするストリーム化マルチメディアプレゼンテーション。
【請求項１５】
前記第１、第２及び第３ストリームは、ＭＰＥＧ−４基本ストリームを有する
ことを特徴とする請求項１４に記載のストリーム化マルチメディアプレゼンテーション。
【請求項１６】
前記第２ストリームは、前記第４ストリームで表現されるＭＰＥＧ−７情報を参照するＵＲＩを有するオブジェクトコンテンツ情報ストリームを有する
ことを特徴とする請求項１５に記載のストリーム化マルチメディアプレゼンテーション。
【請求項１７】
ＸＭＬ文書を配信する方法であって、
ＸＭＬテキストからＸＭＬ構造を分離するために、前記ＸＭＬ文書を分割する工程と、
複数のデータストリームで前記ＸＭＬ文書を配信する工程とを備え、前記ストリームの少なくとも１つは、前記ＸＭＬ構造と、前記ＸＭＬテキストを有する前記ストリームとは別の少なくとも１つを有する
ことを特徴とする方法。
【請求項１８】
前記分割は、前記ＸＭＬ文書をツリー表現に変換する
ことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記ツリー表現は、幅優先方法で分割される
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記ツリー表現は、深度優先方法で分割される
ことを特徴とする請求項１８に記載の方法。
【請求項２１】
マークアップ言語で記述されている文書を処理する方法であって、
前記文書を構造及びテキストコンテンツに分離する工程と、
前記テキストコンテンツの前に前記構造を送信する工程と、
前記テキストコンテンツが受信される前に、前記構造の解析を開始する工程と　を備えることを特徴とする方法。
【請求項２２】
前記構造の解析の結果、必要とされないテキストコンテンツが検出される場合、あるいは解釈ができないテキストコンテンツである場合、前記テキストコンテンツを無視する工程を更に備える
ことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記無視する工程は、無視されるべき前記テキストコンテンツのバッファリングを禁止する
ことを特徴とする請求項２２に記載の方法。
【請求項２４】
前記マークアップ言語は、ＸＭＬである
ことを特徴とする請求項２１に記載の方法。
【請求項２５】
前記分離する工程は、前記構造と前記テキストコンテンツを２つのストリームとして符号化する
ことを特徴とする請求項２１に記載の方法。
【請求項２６】
前記文書はツリー階層表現として生成され、前記分離する工程は、更に、前記２つのストリームを生成するために、深度優先形態で前記文書を解釈する
ことを特徴とする請求項２５に記載の方法。
【請求項２７】
前記文書はツリー階層表現として生成され、前記分離する工程は、更に、前記２つのストリームを生成するために、幅優先形態で前記文書を解釈する
ことを特徴とする請求項２５に記載の方法。
【請求項２８】
請求項１乃至１２あるいは請求項１６乃至２７のいずれか１項に記載の方法を実行する装置。
【請求項２９】
請求項１乃至１２あるいは請求項１６乃至２７のいずれか１項に記載の方法に従うストリーム化プレゼンテーション生成処理をコンピュータに実行させるように構成されているプログラムが記憶されているコンピュータ可読媒体。
【請求項３０】
図面の図２、図３及び図４Ｃを参照して実質的に説明されるストリーム化記述を有するストリーム化プレゼンテーションを生成する方法。
【請求項３１】
図面の図２、図５及び図４Ｃを参照して実質的に説明されるストリーム化記述を有するストリーム化プレゼンテーションを生成する方法。
【請求項３２】
図面の図４Ｂあるいは図４Ｃを参照して実質的に説明されるストリーム化プレゼンテーション。
【国際調査報告】
2004503191.tif 000058
2004503191.tif 000059
2004503191.tif 000060
2004503191.tif 000061
2004503191.tif 000062