(57)【要約】ＨＴＭＬページを提示するための方法は、ＨＴＭＬファイルがＣＩドキュメントに対するリファレンスを含むか否かを判定するステップと、少なくとも一つのＨＴＭＬ要素の挙動を記述するＣＩドキュメントを取り出し、処理するステップと、ＣＩドキュメントに基づいて、ＨＴＭＬファイルをデコードすることにより、ＨＴＭＬページを提示するステップとを含む。ＨＴＭＬページを提示するための装置は、ＨＴＭＬファイルがＣＩドキュメントに対するリファレンスを含むか否かを判定し、少なくとも一つのＨＴＭＬ要素の挙動を記述するＣＩドキュメントを取り出して処理し、ＣＩドキュメントに基づいて、ＨＴＭＬファイルをデコードすることにより、ＨＴＭＬページを提示するように構成された処理回路を含む。
2016522916.tif 000002
【特許請求の範囲】
【請求項１】
ＨＴＭＬページを提示するための方法であって、
ＨＴＭＬファイルが、ＣＩドキュメントに対するリファレンスを含むか否かを判定するステップと、
少なくとも一つのＨＴＭＬ要素の挙動を記述する前記ＣＩドキュメントを取り出し、処理するステップと、
前記ＣＩドキュメントに基づいて、前記ＨＴＭＬファイルをデコードすることにより、前記ＨＴＭＬページを提示するステップと、
を含む、方法。
【請求項２】
前記ＣＩドキュメントのアップデートを検出するとき、前記アップデートされたＣＩファイルに基づいて、前記ＨＴＭＬページを新たに提示するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記ＣＩドキュメントは、ＣＩファイルのアップデートを検出するためのバージョンを含む、請求項２に記載の方法。
【請求項４】
前記ＣＩドキュメントは、再生されるメディアチャンクを参照するチャンクリファレンス、及び前記メディアチャンクの再生時間を制御する同期ユニット（ＳＵ）を含む、請求項１に記載の方法。
【請求項５】
前記ＣＩドキュメントは、複数のＳＵを含み、各々のＳＵは、各々のメディアチャンクを参照する各自のチャンクリファレンスを含む、請求項４に記載の方法。
【請求項６】
前記ＳＵは、各々のメディアチャンクについての再生の開始時間を提供するように構成される、請求項４に記載の方法。
【請求項７】
前記ＳＵは、複数のメディアチャンクそれぞれの再生のために、先行のＳＵに対する各自の相対的な時間を提供するように構成される、請求項４に記載の方法。
【請求項８】
前記ＣＩドキュメントは、前記少なくとも一つのＨＴＭＬ要素の空間的レイアウトに関する情報を提供するように構成される、請求項４に記載の方法。
【請求項９】
前記ＣＩドキュメントは、少なくとも一つのＨＴＭＬ要素へのスタイルの変更を記述するように構成され、前記スタイルは、前記少なくとも一つのＨＴＭＬ要素の位置、外観、可視性（visibility）のうちの少なくとも一つを含む、請求項８に記載の方法。
【請求項１０】
前記ＣＩドキュメントは、再生されるメディアチャンクを参照するチャンクリファレンス、及び前記メディアチャンクの再生時間を制御する同期ユニットを含む、請求項１に記載の方法。
【請求項１１】
請求項１から請求項１０に記載の方法のうちの少なくとも一つに対して構成された、ＨＴＭＬ提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、複合(composite)ＨＴＭＬ（HyperText-Markup-Language）ページの提示のための装置及び方法に関し、より詳しくは、ＨＴＭＬ５ウェブドキュメント内の要素及びマルチメディアコンポーネントの時間的挙動を記述することに関する。
【背景技術】
【０００２】
インターネットを通じたマルチメディアサービスの急速な増加を反映して、次世代のウェブ標準、ＨＴＭＬ５は、ビデオ及びオーディオについての＜ビデオ＞及び＜オーディオ＞という二つの新しいタグを導入して、ウェブページの上にマルチメディアコンポーネントを埋め込む標準化された方式を含んでいる。両方の要素は、それらの一つ以上のソースマルチメディアデータを含む方式を提供する。＜ビデオ＞要素について、幅及び高さのような空間的属性を記述することもまた、可能である。
【０００３】
そのようなオーディオ及びビデオについての新しいタグは、マルチメディアコンポーネントの時間的挙動の正確な制御を叙述的に提示する方式を提供している訳ではない。ＨＴＭＬ５は、マルチメディアコンポーネントの時間的挙動をプログラムで制御するジャバスクリプト（JavaScript／登録商標）の使用を前提とする。ＨＴＭＬ５メディアＡＰＩは、ユーザが、メディア要素のスタート及びポーズを制御するようにするユーザインターフェース要素の提示を許す。これはまた、メディアデータの再生及びメディアデータの特定の位置へのジャンプの速度を制御することを可能にする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、マルチメディアの時間的挙動の制御のためにジャバスクリプトを用いることには、以下のような、いくつかの潜在的な欠点がある。ジャバスクリプトエンジンが、ＨＴＭＬ５ページに埋め込まれたスクリプトのリアルタイム処理を保証しないため、マルチメディアコンポーネントのタイムクリティカルな制御が保証されない。ウェブページのマルチメディアコンポーネントのタイムクリティカルな時間的挙動及びその他のコンポーネントの静的属性が、一つのＤＯＭツリー内に混在するので、これらが個別的に取扱われないので、その結果、ＤＯＭツリーについてのいかなるアップデートでも、マルチメディアコンポーネントの時間的挙動のタイムクリティカルなアップデートを遅延することがある。さらに、スクリプトの寿命が、それを埋め込むウェブページのローディングにより束縛されるので、ＨＴＭＬ５ドキュメントのどのアップデートや更新も、マルチメディアコンポーネントの再生のリセットを招く。
【課題を解決するための手段】
【０００５】
ＨＴＭＬページを提示するための方法は、ＨＴＭＬファイルがＣＩドキュメントに対するリファレンスを含むか否かを判定するステップと、少なくとの一つのＨＴＭＬ要素の挙動を記述する上記ＣＩドキュメントを取り出し、処理するステップと、上記ＣＩドキュメントに基づいて、上記ＨＴＭＬファイルをデコードすることにより、上記ＨＴＭＬページを提示するステップとを含む。
【０００６】
上記方法は、上記ＣＩドキュメントのアップデートを検出するとき、上記アップデートされたＣＩファイルに基づいて、上記ＨＴＭＬページを新たに提示するステップをさらに含む。
【０００７】
上記ＣＩドキュメントは、ＣＩファイルのアップデートを検出するためのバージョンを含む。
【０００８】
上記ＣＩドキュメントは、再生されるメディアチャンク（chunk）を参照するチャンクリファレンス、及び上記メディアチャンクの再生時間を制御する同期ユニット（ＳＵ）を含む。
【０００９】
上記ＣＩドキュメントは、複数のＳＵを含み、各々のＳＵは、各々のメディアチャンクを参照する各自のチャンクリファレンスを含む。
【００１０】
上記ＳＵは、各々のメディアチャンクについての再生の開始時間を提供するよう構成される。
【００１１】
上記ＳＵは、複数のメディアチャンクそれぞれの再生のために、先行のＳＵに対する各自の相対的な時間を提供するように構成される。
【００１２】
上記ＣＩドキュメントは、上記少なくとも一つのＨＴＭＬ要素の空間的レイアウトに関する情報を提供するように構成される。
【００１３】
上記ＣＩドキュメントは、少なくとも一つのＨＴＭＬ要素へのスタイルの変更を述べるように構成され、上記スタイルは、上記少なくとも一つのＨＴＭＬ要素の位置、外観、可視性（visibility）の少なくとも一つを含む。
【００１４】
上記ＣＩドキュメントは、再生されるメディアチャンクを参照するチャンクリファレンス、及び上記メディアチャンクの再生時間を制御する同期ユニットを含む。
【００１５】
ＨＴＭＬページを提示するための装置は、ＨＴＭＬファイルが、ＣＩドキュメントに対するリファレンスを含むか否かを判定し、少なくとも一つのＨＴＭＬ要素の挙動を記述する上記ＣＩドキュメントを取り出して処理し、上記ＣＩドキュメントに基づいて、上記ＨＴＭＬファイルをデコードすることにより、上記ＨＴＭＬページを提示するように構成された処理回路を含む。
【００１６】
ＨＴＭＬページを提示するための装置は、ＨＴＭＬファイルが、ＣＩドキュメントに対するリファレンスを含むか否かを判定するように構成されたＨＴＭＬ処理部と、少なくとも一つのＨＴＭＬ要素の挙動を記述する上記ＣＩドキュメントを取り出して処理するように構成されたメディア処理部と、上記ＣＩドキュメントに基づいて、上記ＨＴＭＬファイルをデコードすることにより、上記ＨＴＭＬページを提示するように構成された提示部とを含む。
【００１７】
下記の詳細な説明を記載する前に、本明細書を通じて用いられる特定の単語と語句を定義することが、有益となるはずである。用語「含む（include）」と、「備える（comprise）」と、これらの派生語とは、限定されずに包含を意味する。用語「又は」とは、包括的であり、「及び／又は」を意味する。語句「〜と関連した（associated with）」及び「それと関連した（associated therewith）」だけではなく、これらによる派生語は、含む（include）、〜内に含まれる（be included within）、〜と互いに連結する（interconnect with）、含む（contain）、〜内に含まれる（be contained within）、〜に／と連結する（connect to or with）、〜に／と結合する（couple to or with）、〜と通信可能である（be communicable with）、〜と協力する（cooperate with）、インタリーブする（interleave）、並置する（juxtapose）、〜に近似する（be proximate to）、〜に／と束縛される（be bound to or with）、有する（have）、〜の特性を有する（have a property of）などの意味を有する。そして、用語 「コントローラ」は、少なくとも一つの動作を制御する任意のデバイス、システム、又はこれらの一部を意味し、このようなデバイスは、ハードウェア、ファームウェア（firmware）又はソフトウェア、又はこれらの少なくとも二つの組み合わせで実現することができる。特定のコントローラと関連した機能は、局所的又は遠隔的に集中されても、分散されてもよいことに留意すべきである。特定の単語及び語句についての定義は、本明細書の全般に渡って提供され、当該技術分野における当業者は、殆どの場合でなかったとしても多くの場合に亘り、上述のような定義が、上述のように定義された単語及び語句の過去ばかりでなく将来における使用にも適用されることを理解すべきである。
【００１８】
本開示及びその利点のより完全な理解のために、以下、添付の図面を参照して詳細に説明し、添付の図面において、同一の構成要素には同一の符号を付ける。
【図面の簡単な説明】
【００１９】
【図１】本開示の一実施形態による無線ネットワークを示す。
【図２】本開示の実施形態による例示的な複合情報（ＣＩ）レイヤーを示す。
【図３】本開示の実施形態によるＨＴＭＬ５ファイル及びＣＩファイルの構造を示す。
【図４】本開示の別の実施形態によるＨＴＭＬ５ファイル及びＣＩファイルの構造を示す。
【図５】本開示の実施形態による例示的なメディア提示システムを概念的に示している上位ブロック図である。
【図６】本開示の実施形態によるコンテンツを処理する例示的動作を示すフローチャートである。
【図７】本開示の多様な実施形態が実現できる例示的なクライアントデバイスを示す。
【図８】ＭＭＴコンテンツモデルによる論理的エンティティ及びその論理的構造を含んだパッケージを示す。
【図９】提示情報（ＰＩ）ドキュメントにより提供される異なるアセットからマルチメディア処理ユニット（ＭＰＵ）の提示のタイミングの一例を示す。
【発明を実施するための形態】
【００２０】
以下で説明する図１から図９と、本明細書における本開示の原理を記述するにあたって用いられる多様な実施形態は、単なる例示に過ぎず、本開示の範囲を制限することと解釈してはいけない。当該技術分野における当業者であれば、本開示の原理が、適切に配列された無線通信システムにおいて実現できることを理解すべきである。
【００２１】
図１は、本開示の様々な実施形態が実現できるポイント対マルチポイント伝送システム１００の例を示す。図示された実施形態において、システム１００は、送信エンティティ１０１と、ネットワーク１０５と、受信エンティティ１１０〜１１６と、基地局（ＢＳ）１０２、基地局（ＢＳ）１０３、及び他の類似の基地局や中継局（図示せず）のような無線伝送ポイント（例えば、ｅＮＢ（Evolved Node Ｂ）、 Node Ｂ）とを含む。送信エンティティ１０１は、ネットワーク１０５を介して、基地局１０２及び基地局１０３と通信している。ネットワーク１０５は、例えば、インターネット、メディアブロードキャストネットワーク、又はＩＰ基盤の通信システムであってもよい。受信エンティティ１１０〜１１６は、ネットワーク１０５及び／又は基地局１０２、１０３を通じて送信エンティティ１０１と通信している。
【００２２】
基地局１０２は、基地局１０２のカバレッジエリア１２０内で、複数の第１受信エンティティ（例えば、ユーザ端末、携帯電話、移動局、加入者ステーション）に、ネットワーク１０５に対する無線アクセスを提供する。複数の第１受信エンティティは、スモールビジネス（small business：ＳＢ）に位置付けられるユーザ端末１１１と、エンタープライズ（enterprise：Ｅ）に位置付けられるユーザ端末１１２と、ＷｉＦｉホットスポット（ＨＳ）内に位置付けられるユーザ端末１１３と、第１レジデンス（residence：Ｒ）に位置付けられるユーザ端末１１４と、第２レジデンス（residence：Ｒ）に位置付けられるユーザ端末１１５と、ユーザ端末１１６とを含む。ユーザ端末１１６は、携帯電話、無線通信対応のラップトップ、無線通信対応のＰＤＡ、タブレットＰＣなどのようなモバイルデバイス（Ｍ）であり得る。
【００２３】
基地局１０３は、基地局１０３のカバレッジエリア１２５内で、複数の第２ユーザ端末に、ネットワーク１０５に対する無線アクセスを提供する。複数の第２ユーザ端末は、ユーザ端末１１５と、ユーザ端末１１６とを含む。一実施形態において、基地局１０１〜１０３は、本開示の多数の実施形態に記載されているようなＨＴＭＬページを提示するための技術を含むＯＦＤＭ又はＯＦＤＭＡ技法を用いて、互いに通信してもよく、ユーザ端末１１１〜１１６と通信してもよい。
【００２４】
図１には、６個のユーザ端末のみが示されているが、システム１００が追加のユーザ端末に、無線広帯域及びネットワークアクセスを提供できる。ユーザ端末１１５及びユーザ端末１１６は、カバレッジエリア１２０とカバレッジエリア１２５との両方の境界上に位置付けられる。ユーザ端末１１５及びユーザ端末１１６は、それぞれ基地局１０２と基地局１０３との両方と通信し、当該技術分野における当業者に知られているように、ハンドオフモードで操作してもよい。
【００２５】
ユーザ端末１１１〜１１６は、ネットワーク１０５を介して、音声、データ、ビデオ、ビデオ会議、及び／又は他の広帯域サービスをアクセスすることができる。一実施形態において、ユーザ端末１１１〜１１６の一つ以上は、ＷｉＦｉ・ＷＬＡＮのアクセスポイント（ＡＰ）と関連していることができる。ユーザ端末１１６は、無線可能なラップトップコンピュータ、ＰＤＡ（personal data assistant）、ノートパソコン、携帯用デバイス 、又は他の無線可能なデバイスを含む、多数のモバイルデバイスのうちのいずれかであってもよい。ユーザ端末１１４、１１５は、例えば、無線可能なパーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ゲートウェイ、又は他のデバイスであってもよい。
【００２６】
図２は、本開示の実施形態による例示的な複合（composition）情報（ＣＩ）レイヤー２００を示す。図２に示した実施形態は、単なる例示に過ぎない。ＣＩレイヤーの他の実施形態が、本開示の範囲から逸脱することなく実施されてもよい。
【００２７】
ＣＩレイヤー２００は、例えば、宣言的方式を利用して、ＨＴＭＬ５ウェブページ上に、マルチメディアコンポーネントの時間的挙動を提供するよう設計されている。特定の多数の実施形態において、複合情報は、ＨＴＭＬ５ファイル２１５及び複合情報（ＣＩ）ファイル２１０の二つの別のファイルに分割される。互換的なＨＴＭＬ５ファイル２１５は、初期空間のレイアウト及びプレースホルダーメディア要素を提供し、複合情報ファイル２１０は、メディア提示を制御するための同期型命令語（timed instructions）を含む。
【００２８】
特定の実施形態において、ＨＴＭＬ５ファイルのウェブページ上のマルチメディアコンポーネントの時間的挙動は、ＣＩファイル２１０により提供される。ここで、ウェブページは、そのＵＲＩを用いて参照することが可能であり、＜ビデオ＞及び＜オーディオ＞要素のようなＨＴＭＬ５ファイル内のマルチメディア要素は、これらのＩＤにより参照される。言い換えれば、ＣＩファイル２１０は、マルチメディアデータの全長の時間的挙動の代わりに、マルチメディアデータの要素（parts）の時間的挙動の組み合わせとして、マルチメディアコンポーネントの時間的挙動を記述することによって、１つのマルチメディアコンポーネントを、複数のデータからフレキシブルに組み合わせたものとして構成する。
【００２９】
図３は、本開示の実施形態によるＨＴＭＬ５ファイル３６０及びＣＩファイル３１０の構造を示す。図３における実施形態は、単なる例示に過ぎない。他の実施形態が、本開示の範囲から逸脱することなく実施されてもよい。
【００３０】
特定の実施形態において、マルチメディアコンポーネントの時間的挙動は、ＣＩファイルの内に同期ユニット（ＳＵ）を定義して提示できる。ＣＩファイル３１０は、マルチメディアデータを含む、一つ以上のメディアチャンク３４０−１〜３４０−ｎを参照する一つ以上のチャンク情報３２０−１〜３２０−ｎが含まれるＳＵ３１５を含む。
【００３１】
絶対時間を採用する特定の実施形態において、ＣＩファイル３１０内のＳＵ３１５は、Ｗ３Ｃ ＳＭＩＬ（Synchronized Multimedia Integration Language）から、clipBeginのような、よく知られている属性に合わせて、チャンク３４０−１〜３４０−ｎの開始位置を提供することにより、再生の開始点として、チャンクの開始ではない特定の時間を特定することができる。
【００３２】
絶対時間を採用する特定の実施形態において、ＳＵ３１０は、絶対時間、例えば、ＵＴＣを用いて、最初にリストされたチャンクの開始時間又は終了時間を提供することができる。また、ＳＵ３２０は、ＣＩファイルが参照している、ＨＴＭＬ５ウェブページに定義された他のＳＵ又はイベントに対する相対時間を利用することができる。即ち、ＳＵ３１０でリストされた最初のチャンク３４０−１の開始時間は、 ＳＵ３１０の開始時間と同じである。ＳＵ内でリストされた最初のチャンク３４０−１を除いたチャンク３４０−２〜３４０−ｎの開始時間は、先行のチャンクの終了時間と同じであり、ここで、その終了時間は、開始時間とデュレーションの合計によって与えられる。各々のチャンクは、これらの属したマルチメディアデータの開始に対して、開始時間に関する何等かの情報を有してもよいが、このような情報は、本開示の一実施形態における同期化に用いられない。
【００３３】
図４は、本開示の別の実施形態によるＨＴＭＬ５ファイル４６０及びＣＩファイル４１０の構造４００を示す。図４の実施形態は、単なる例示に過ぎない。他の実施形態が、本開示の範囲から逸脱することなく実施されてもよい。
【００３４】
実施形態において、ＨＴＭＬ５ファイル４６０は、二つ以上のマルチメディアコンポーネントを有することができ、ＣＩファイル４１０は、二つ以上のＳＵ４２０−１〜４２０−ｎを有することができる。このような場合、互いに異なるマルチメディア要素を参照している二つ以上のＳＵが時間的に重複されてもよい。
【００３５】
その代わりに、ＨＴＭＬ５ウェブページ４１０上の単一マルチメディアコンポーネントが、二つ以上のＳＵ４２０−１〜４２０−ｎにより参照されてもよい。この実施形態において、マルチメディア要素は、二つ以上のマルチメディアデータからのチャンクにより提示される。同一のマルチメディアコンポーネントを参照しているＳＵは、時間的に互いに重複されなくてもよい。
【００３６】
特定の実施形態において、単一のＣＩファイル４６０は、複数のクライアントに送られ、いくつかのＳＵは、タイプ、位置、ユーザプロファイル等のような各々のクライアントのコンテキストに基づいて、相異に解釈できるチャンク情報を有することができる。このようなＳＵのデュレーションは、関連したチャンクのデュレーションに基づいて変化してもよく、後続のＳＵの開始時間が、各々のクライアントに対して異なっていてもよい。
【００３７】
特定の実施形態において、よく知られているデータフォーマット、例えば、ＨＴＴＰを通じた動的な適応ストリーミング（Dynamic Adaptive Streaming over ＨＴＴＰ: ＤＡＳＨ）セグメント又はＭＰＥＧメディアトランスポート（ＭＰＥＧ Media Transport：ＭＭＴ）、メディア処理ユニット（Media Processing Unit：ＭＰＵ）が、メディアデータのチャンクに用いられてもよい。ＭＭＴ・ＭＰＵをチャンクのデータフォーマットとして用いる場合、ＭＭＴアセットＩＤ、及び各々のＭＰＵのシーケンス番号が、特定のＭＰＵをチャンク情報として参照する方法として用いられてもよい。
【００３８】
特定の実施形態において、ＤＡＳＨ ＭＰＤ（Media Presentation Description）のようによく知られているマニフェスト（manifest）ファイルフォーマットが、チャンク情報として用いられてもよい。チャンク情報として、ＤＡＳＨ ＭＰＤを用いる場合、ＤＡＳＨ ＭＰＤにリストされた第１期間（Period）の開始時間は、ＳＵの開始時間によって与えられ、ＳＵは、そのようなＭＰＤから特定の期間を参照することにより、ＭＰＤの時間内の開始位置を提供することができる。
【００３９】
特定の実施形態において、ＣＩファイル３１０は、ＨＴＭＬウェブページ上の要素の空間的レイアウトと外観に関する情報を提供する。また、ＣＩファイル３１０は、提示要素の空間的レイアウトについての修正命令が提供できる。これらの実施形態において、空間的レイアウトは、divLayout要素でカバーできる。
【００４０】
ＣＩ構文体系(syntax)及び意味体系(semantics)に関して、特定の実施形態において、複合情報は、クライアントに、提示イベント及びアップデートの信号を送るために、ＸＭＬ基盤のフォーマットに基づいてもよい。一つのアプローチにおいて、ＣＩ情報は、シグナリングの宣言的タイプを持ってフォーマットされてもよい。ここで、ＳＭＩＬ類似の構文体系が、特定のメディア要素の再生時間を示すのに用いられる。シグナリングの宣言的タイプは、２次スクリーンに表示される特定の「div」要素を指定することにより、２次スクリーンレイアウトを示すことにも用いられる。
【００４１】
宣言的なＣＩ構文体系を用いて、ＣＩファイルは、構文体系上、ＳＭＩＬと類似のＸＭＬファイルとしてフォーマットされる。このアプローチは、ＭＭＴの２次ＣＤ（Committee Draft）により現在提供されるソリューションをできるだけ多く使おうとしたものである。これは、ＨＴＭＬ５拡張子を抽出して、これらを別途のＣＩファイルの内に入れる。ＣＩファイルは、表示（view）及びメディア要素のシーケンスを含む。表示要素は、メインＨＴＭＬ５ドキュメント内のdiv要素の空間的位置を示す、divLocationアイテムのリストを含む。divLocationアイテムのリストは、２次スクリーンをポイントすることもできる。メディア要素は、メインＨＴＭＬ５ドキュメントの内で、同一の識別子を有したメディア要素を参照し、当該メディア要素のプレイアウトの開始及び終了についてのタイミング情報を提供する。
【００４２】
それに代えて、メディア提示のイベントは、メディア提示を変換するアクションとして提供される。これらのアクションは、容易にジャバスクリプトに訳すことができる。
【００４３】
アクション基盤のＣＩ構文体系を用いて、ＣＩファイルは、著作及び処理側における処理を単純化するために、ＸＭＬファイルとしてフォーマットされる。前述のように、ＣＩは、特定の時点において、ＨＴＭＬ５から生成されたＤＯＭツリーに対する修正を適用する。
【００４４】
ＣＩは、相対及び絶対タイミングの両方をサポートする。相対タイミングは、ドキュメントのローディング時間をリファレンスとして用いる。絶対タイミングは、「掛時計」の時間（wall clock time）を参照し、クライアントが、例えば、ＮＴＰプロトコルを用いるか、他の手段を通じて、ＵＴＣ時間とタイムリーに同期すると推定する。
【００４５】
提示要素の空間的レイアウト及び外観に対する同期型修正が、新しいＣＳＳスタイルの当該要素への割り当てを通じて行われる。メディア要素の再生は、対応するメディア再生制御関数の呼出しを通じて制御される。
【００４６】
ＣＩファイルのためのＸＭＬスキーマは、以下の表に示される。
【表１】
2016522916.tif 000003
2016522916.tif 000004
【００４７】
ＣＩは、特定の時間に適用するアクションの集合からなる。アクションアイテムは、メディア又はそのソース、要素のスタイル、提示のアップデート（例えば、要素の置換又は除去）、又はスクリーンと関連づけられてもよい。
【００４８】
いくつかのアクションアイテムは、同時実行のために共にバンドルされてもよい。各々のアクションアイテムは、そのアクションを適用するＤＯＭ内のターゲット要素を特定する。例えば、スタイルアクションは、アクションストリングの内に与えられた@styleを、@target属性により識別されるＤＯＭ要素に適用する。メディアアクションアイテムは、@target属性により識別されるメディア要素の上で実行すべきメディア関数を含む。
【００４９】
ＣＩ要素の意味体系は、以下の表に提供される。
【表２】
2016522916.tif 000005
【００５０】
以下の表は、各々のアクションタイプに許容される、可能なアクションを定義する。
【表３】
2016522916.tif 000006
【００５１】
一方で、ＣＩは、特にライブ（live）サービスの場合、持続的にアップデートを要することもある。メディアソース、空間的レイアウトをアップデートする必要、メディア要素を追加するか、除去する必要、２次スクリーンの上にレンダリングするためのコンテンツをマークする必要などから、このアップデートがなされてもよい。
【００５２】
このために、ＣＩ処理エンジンは、ＣＩのアップデートのために、観察しなければならない。これは、例えば、ＣＩファイルのバージョン番号を確認することによって、達成することができる。新しいＣＩが検出されるとき、これが含む命令語が、抽出され、実行のためにスケジュールされる。典型的な実施形態において、ＣＩ処理エンジンは、ジャバスクリプトとして実装されてもよい。ジャバスクリプトは、ＡＪＡＸを用いるか、ローカルファイルから読み込まれることにより、定期的にＣＩを取り出すことができる。あるいは、ＭＭＴ受信器は、新しいバージョンのＣＩファイルを受信する度に、ＣＩ処理エンジンについてのイベントを実施することができる。
【００５３】
以下の表は、アクション基盤のフォーマットにより作られるＣＩファイルの例である。
【表４】
2016522916.tif 000007
【００５４】
この例では、いくつかのアクションが示される。第１アクションは、ＩＤ「div２」を有する「div」が、２次スクリーン上にのみ表示されることを示している。そのために、それは、１次スクリーンから隠される。第２アクションは、２個のアクションアイテムを含む。第１アクションアイテムは、ビデオ要素のソースを設定する。第２アイテムは、ビデオアイテムの再生を、示されたアクション時間に開始する。第３アクションは、ＤＯＭからＩＤ「div３」を有する要素を、完全に除去するアップデートアクションである。最後のアクションは、スタイルアクションである。これは、ターゲット要素「div１」の位置を、（５０、１００）ピクセルに設定する。
【００５５】
メディア提示記述（ＭＰＤ）の調和のために、ＭＰＥＧ・ＭＭＴのアドホックグループとＤＡＳＨ（Dynamic Adaptive Streaming over ＨＴＴＰ）のアドホックグループとの間に進行中の論議の一部として、ＤＡＳＨとＭＭＴとの間を調和させるための努力について広範囲に話し合われている。ＤＡＳＨは、コンテンツ及び関連したタイミングにアクセスする可能な方式を記述するマニフェストファイルとして動作するＭＰＤに基づいている。しかし、ＭＰＤは、メディア提示の拡張機能を提供しない。例えば、これは、メディア提示のレイアウトを制御するツールを提供しない。ＭＰＤはさらに、単一のコンテンツ（そのメディアコンポーネントを全て含む）の伝送及び提示の必要性を念頭において設計された。現在には、単一のＭＰＤの一部として、重複のタイムライン又は従属のタイムラインを、コンテンツの異なる部分に提供することが不可能である。結果的に、広告挿入のいくつかのユースケースは、ＭＰＤのみを用いて実現することはできない。
【００５６】
これに代えて、ＭＭＴのＣＩレイヤーは、類似のユースケースを扱うことを目的とする。複数のメディア要素をサポートすると同時に、メディア提示の変動を定義するＣＩファイルを追加できるようにＨＴＭＬ５の特性を継承することによって、これはなされる。ＣＩ情報からＭＰＤのアドレスを指定できるようにすることによって、メディア提示は、ＤＡＳＨの伝送を容易に活用することができる。これは、例えば、ＭＰＤファイルを指定（point）するために、メディア要素のソースを設定することによって達成できる。
【００５７】
セグメント/提示レイヤーにおける調和により、ＭＰＤを指定することは、処理されるＭＰＵの集合が前記ＭＰＤにより提供されるため、メディアの消費を促進できる(一連の連続期間（Period）の一部として、各々の期間は、一つ以上のＭＰＵに対し、提示（Representations）として指定する）。
【００５８】
ＣＩファイルを用いることによって、また、複数及び時間重複のコンテンツを提供することができる。これは、ＨＴＭＬ５内の複数のメディア要素を複数のＭＰＤファイルとマップすることによって、行われる。各々のメディア要素には、ＭＰＤの第１期間の第１メディアセグメントが、いつ再生される（playout）かを決めるプレイアウトの開始時間が割り当てられる。以下の表は、２個のＭＰＤを参照し、ＳＭＩＬ類似の構文体系を利用したＣＩの例である。
【００５９】
【表５】
2016522916.tif 000008
【００６０】
【表６】
2016522916.tif 000009
【００６１】
提示時間命令語は、ＭＰＤにより与えられた時間提示時間ヒントに上書きする（例えば、availabilityStartTime+suggestedPresentationDelay）。
【００６２】
図５は、本開示の実施形態による例示的なメディア提示システム５００を概念的に示している上位レベルのブロック図である。図５における実施形態は、単なる例示に過ぎない。メディア提示システムの他の実施形態が、本開示の範囲から逸脱することなく実施されてもよい。
【００６３】
このシステムは、上位にある提示エンジン５１０と、下位にあるＨＴＭＬ処理エンジン５２０及びメディア処理エンジン５３０とを含む。ＨＴＭＬ５エンジン５２０は、ＨＴＭＬ５ウェブページを処理し、メディア処理エンジン５３０は、ＣＩファイル及びその中にリストされたチャンクを処理する。提示エンジン５１０は、メディア処理エンジン５３０の結果とＨＴＭＬ処理エンジン５２０の結果とをマージして、これを共にレンダリングする。
【００６４】
より詳しくは、ＨＴＭＬ５処理エンジン５２０は、ＨＴＭＬ５ファイルを、ドキュメントオブジェクトモデル（ＤＯＭ）ツリーに解析し、メモリに格納する。
【００６５】
メディア処理エンジン５３０は、ＣＩ及びＨＴＭＬ５ファイル（及びある他の参照ファイル）を取り出し、ＣＩ情報を処理して、これに従って前記提示を制御する。
【００６６】
ＨＴＭＬ処理エンジン５２０及びメディア処理エンジン５３０は、互いに異なる時間に、自身の結果をアップデートすることができる。一部の例において、メディア処理エンジン５３０は、デコードしたメディアデータを、持続的にアップデートすることができ、一方では、ＨＴＭＬ処理エンジン５２０は、ＨＴＭＬ５ファイルを解析して、レンダリングツリーを組み立てる。ＣＩのアップデートのために、メディア処理エンジン５３０は、ＣＩファイルに利用可能な命令語に応じて、特定の時点でＤＯＭについての変更を適用する。複数のＤＯＭノード/要素が、これらの識別子を用いるか、可能な場合（例えば、jQuery選択子を通じて提供される）、特定のパターンを用いて参照される。
【００６７】
図６は、本開示の実施形態によってコンテンツを処理する例示的動作を示すフローチャートである。前記フローチャートには、連続的なステップが示されているが、明示的に述べない限り、そのシーケンスから、特定の実行状態、ステップやその一部が同時または時間的に重複するのではなく、シリアルに実行されること、割り込み又は中間ステップを排除して実行されることに関して、如何なる推論もなされてもいけない。示された例における動作は、ＵＥ内の処理回路によって実装される。
【００６８】
処理動作は、動作６１０から始まる。動作６１５において、メディア要素が存在する場合、クライアントデバイスが、ＨＴＭＬ５ウェブページを処理し、評価する。メディア要素が存在しないと、ＨＴＭＬ５の処理結果をレンダリングする動作に移行する。ここで、クライアントデバイスは、モバイルデバイス及びパソコンを含み、適切な装置によってサーバと通信可能である。
【００６９】
動作６２０においてメディア要素が存在する場合、クライアントデバイスはまず、動作６２５において、同一のＣＩファイルがすでに処理中であるか否かを評価する。既に処理中であると、マルチメディアチャンクをデコードする動作６３５に移る。そうでない場合、動作６３０でＣＩファイルを処理する。
【００７０】
動作６３０でＣＩファイルを処理した後、ＣＩファイルにリストされたマルチメディアチャンクが、動作６３５で処理され、それから、その結果が、動作６４０でレンダリングされる。このような動作は、処理する必要のあるマルチメディアチャンクが存在しなくなるまで、繰り返してもよい。動作６４５において、ＨＴＭＬ５についてのアップデートが存在する場合、クライアントデバイスは、それを処理中のチャンクのデコーディング及びレンダリングの間いつでも、マルチメディアチャンクの処理と並列に処理する。
【００７１】
図７は、本開示の多様な実施形態が実現できる例示的なクライアントデバイス７００を示す。この例において、クライアントデバイス７００は、コントローラ７０４、メモリ７０６、持続性メモリ７０８、通信部７１０、入出力（Ｉ／Ｏ）部７１２、及びディスプレイ７１４を含む。これらの例において、クライアントデバイス７００は、図１の送信エンティティ１０１及び／又は受信エンティティ１１０〜１１６の一具体例である。
【００７２】
コントローラ７０４は、少なくとも一つの動作を制御するデバイス、システム、又はその一部である。かかる装置は、ハードウェア、ファームウェア、又はソフトウェア、又はこれらの少なくとも二つの組み合わせで実現できる。例えば、コントローラ７０４は、クライアントデバイス７００の動作を制御するように構成されたハードウェア処理部及び／又はソフトウェアプログラムを含んでもよい。例えば、コントローラ７０４は、メモリ７０６にロードすることができるソフトウェアに対する命令語を処理する。コントローラ７０４は、特定の実行によって、多数のプロセッサー、マルチプロセッサーコア、又は他のタイプのプロセッサーを含んでもよい。また、コントローラ７０４は、単一のチップ上に、メインプロセッサーが、２次プロセッサーと共に存在する多数の異種のプロセッサーシステムを用いて実現できる。別の例において、コントローラ７０４は、同一タイプの複数のプロセッサーが含まれる対称型マルチプロセッサーシステムを含んでもよい。
【００７３】
メモリ７０６及び持続性メモリ７０８は、格納デバイス７１６の例である。格納デバイスは、例えば、一時的に及び／または継続的に、データ、関数形式のプログラムコード、及び／又は、適切な情報を格納できるハードウェアの一つであるが、これに限定されない。これらの例において、メモリ７０６は、例えば、ＲＡＭ（random access memory）又は他の適切な揮発性又は非揮発性の格納デバイスであってもよい。例えば、持続性メモリ７０８は、一つ以上の構成要素やデバイスを含んでもよい。持続性メモリ７０８は、ハードドライブ、フラッシュメモリ、光ディスク、又は前述のもののいずれかの組み合わせであってもよい。持続性メモリ７０８により用いられる媒体は、取り外し可能であってもよい。例えば、取り外し可能なハードドライブが、持続性メモリ７０８に用いられてもよい。
【００７４】
通信部７１０は、他のデータ処理システム又はデバイスとの通信を提供する。これらの例において、通信部７１０は、無線（セルラー、ＷｉＦｉ等）送信器、受信機、送受信器、ネットワークインターフェースカード、及び／又は、物理的通信媒体又は無線通信媒体を通じて情報を送信及び／又は受信するのに適切な他のハードウェアを含んでもよい。通信部７１０は、物理的通信リンク、無線リンクのいずれか、もしくは、両方を使用して、通信を提供することができる。
【００７５】
入出力部７１２は、クライアントデバイス７００、または、クライアントデバイス７００の一部と接続された他のデバイスとデータを入出力することが可能である。例えば、入出力部７１２は、ユーザが入力したタッチを受けるタッチパネル、オーディオ入力を受信するマイクロフォン、オーディオ出力を提供するスピーカー、及び／又は、触覚出力を提供するモーターを含んでもよい。入出力部７１２は、クライアントデバイス７００のユーザに、メディアデータ（例えば、オーディオデータ）を提供及び伝達するためのユーザインターフェースの一例である。別の例では、入出力部７１２は、キーボード、マウス、外部スピーカー、外部マイクロフォン、及び／又は他の適切な入出力装置を通じて、ユーザ入力との繋ぎを提供できる。さらに、入出力部７１２は、プリンターに出力を送ることができる。ディスプレイ７１４は、ユーザに情報を表示するメカニズムを提供する。ディスプレイ７１４は、クライアントデバイス７００のユーザに、メディアデータ（例えば、イメージ及び／又はビデオデータ）を提供及び伝達するためのユーザインターフェースの一例である。
【００７６】
オペレーティングシステムのためのプログラムコード、アプリケーション、又は他のプログラムが、コントローラ７０４と通信状態にある格納デバイス７１６の内に位置してもよい。一部の実施形態において、プログラムコードは、持続性メモリ７０８上で関数の形式で存在する。これらの命令語は、コントローラ７０４による処理のために、メモリ７０６にローディングされてもよい。異なる実施形態のプロセスは、メモリ７０６に位置できるコンピュータ実施命令語（computer-implemented instruction）を用いて、コントローラ７０４により実行されてもよい。例えば、コントローラ７０４は、前述のモジュール及び／又はデバイスのうちの一つ以上についてのプロセスを実行してもよい。
【００７７】
図８は、本開示の実施形態によるＭＭＴコンテンツモデルを示す。ＣＩファイルがどの提示のフォーマット及びメディアファイルのフォーマットにも適用できることは、注意すべきである。図８の実施形態は、単なる例示に過ぎない。ＭＭＴコンテンツモデルの他の実施形態が、本開示の範囲から逸脱することなく実施されてもよい。
【００７８】
パッケージは、図８に示されたように、ＭＭＴコンテンツモデルにおける論理的エンティティ及びその論理的構造である。以下、伝送及び消費の目的のために、符号化されたメディアデータ及び関連した情報の集まりとしてのパッケージの論理的構造について定義する。
【００７９】
まず、パッケージは、ＭＭＴ標準のパート１１に明示されたような一つ以上の提示情報ドキュメントと、関連した伝送特性を有することが可能な一つ以上のアセットを含む。アセットは、同じアセットＩＤを共有する一つ以上のメディア処理ユニット（ＭＰＵｓ）の集まりである。アセットは、オーディオやビデオ、又はウェブページのような符号化されたメディアデータを含む。メディアデータは、同期型であっても、非同期型であってもよい。
【００８０】
提示情報（ＰＩ）ドキュメントは、消費のためのアセット同士の間の空間的及び時間的関係を特定する。この標準のパート１１に明示されたＨＴＭＬ５及び複合情報（ＣＩ）ドキュメントの組み合わせは、ＰＩドキュメントの一例である。ＰＩドキュメントは、パッケージ内のアセットの伝送順序を決めるために用いられてもよい。ＰＩドキュメントは、この明細書に定義された一つ以上のメッセージ、又はこの明細書で特定されていない何等かの手段により完全なドキュメントとして伝送される。ブロードキャスト伝送の場合において、サービスプロバイダーは、提示情報ドキュメントを回転（carousel）することを判断し、回転が行われる周波数を決定してもよい。
【００８１】
第２に、アセットは、マルチメディア提示を構築するために用いられるマルチメディアデータである。アセットは、符号化されたメディアデータを送るために、同一のアセットＩＤを共有するＭＰＵの論理的グループである。アセットの符号化されたメディアデータは、同期型データであっても非同期型データであってもよい。同期型データは、固有のタイムラインを有し、指定時間で、データユニットを同期してデコーディングし、提示することが要求することができる符号化されたメディアデータである。非同期型データは、サービスのコンテキスト又はユーザからの指示に基づいて、任意の時間にデコードすることができる他のタイプのデータである。
【００８２】
単一アセットのＭＰＵは、同期型又は非同期型メディアを有してもよい。同期型メディアデータを送る同一のアセットの二つのＭＰＵは、これらの提示時間が重複してはならない。提示の指示がない場合、同一のアセットのＭＰＵは、これらのシーケンス番号によって順次に再生されてもよい。
【００８３】
ＭＭＴ受信エンティティの提示エンジンにより個別的に消費できる任意のタイプのメディアデータは、個別のアセットとして考慮される。個別のアセットとして考慮できるメディアデータタイプの例は、オーディオ、ビデオ、又はウェブページである。
【００８４】
一部の実施形態において、前述の多様な機能は、コンピュータ読取り可能なプログラムコードから生成され、コンピュータ読取り可能な媒体で実現されるコンピュータプログラム製品により実現されるか、サポートされる。コンピュータプログラム製品のプログラムコードは、コントローラ７０４により処理するためのクライアントデバイス７００の上にローディングされるか、伝送されてもよい。コンピュータプログラム製品のプログラムコードは、選択的に取り外し可能な、コンピュータ読取り可能な格納デバイス上で、関数の形式で位置してもよい。一部の例示的実施形態において、プログラムコードは、クライアントデバイス７００の内で用いるために、ネットワークを介して他のデバイスやデータ処理システムから持続性メモリ７０８へダウンロードされてもよい。例えば、サーバデータ処理システム内のコンピュータ読取り可能な格納媒体に格納されるプログラムコードが、ネットワークを通じて、サーバからクライアントデバイス７００にダウンロードされてもよい。プログラムコードを提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、又はプログラムコードを格納及び伝送できる他のデバイスであってもよい。
【００８５】
本開示による実施形態は、ＭＭＴ内のＣＩ関数についての解法を提供する。前記実施形態は、ＨＴＭＬ５拡張に対する懸念を解消し、実装者らに、適切な技術を使用できるように(即ち、ジャバスクリプトに基づいてか、ネーティブコードに基づいてか）、多くの自由を与えるフレキシブルなフレームワークを提供する。
【００８６】
本開示は、例示的な実施形態について説明したが、様々な変更及び修正は、当業者に示唆されてもよい。本開示は、添付の特許請求の範囲内で、上記のような変更及び修正を包含することが意図されている。
【図１】
2016522916.tif 000010
【図２】
2016522916.tif 000011
【図３】
2016522916.tif 000012
【図４】
2016522916.tif 000013
【図５】
2016522916.tif 000014
【図６】
2016522916.tif 000015
【図７】
2016522916.tif 000016
【図８】
2016522916.tif 000017
【図９】
2016522916.tif 000018
【国際調査報告】
2016522916.tif 000019
2016522916.tif 000020