(57)【要約】  複数のマルチメディアオブジェクトを含むマルチメディアプレゼンテーションを送信する方法において、複数のメディアオブジェクトはＳ１０においてマルチメディアコンテナ又はコンテナフォーマットに編成され、この複数のメディアオブジェクトを参照する複数の識別子がＳ２０において同一コンテナ内に編成され、複数のメディアオブジェクトを協調させる識別可能なファイルがさらにＳ３０において同一コンテナに与えられる。
2007508779.tif 000002
【特許請求の範囲】
【請求項１】
複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを伝送するための方法であって、
前記複数のメディアオブジェクトをマルチメディアコンテナに編成するステップ(S10)と、
前記マルチメディアコンテナ内に、前記複数のメディアオブジェクトの各々を参照する識別子を編成する(S20)ステップと、
前記マルチメディアコンテナ内に、前記識別子に基づいて前記複数のメディアオブジェクトを協調させる識別可能なファイルを提供する(S30)ステップと、
前記マルチメディアコンテナ及び統合されたマルチメディアプレゼンテーションを送信する(S33)ステップとを有することを特徴とする方法。
【請求項２】
前記メディアオブジェクトが少なくとも１つの静的メディアファイルを有することを特徴とする請求項１記載の方法。
【請求項３】
前記メディアオブジェクトを編成するステップ(S10)が、前記メディアファイルをインタリーブされた連続的なデータフラグメントとしてマルチメディアコンテナ内に編成するステップを有することを特徴とする請求項２記載の方法。
【請求項４】
前記メディアオブジェクトが複数のトラック内の動的メディアオブジェクトと、複数の静的メディアファイルの両方を有することを特徴とする請求項１記載の方法。
【請求項５】
前記メディアオブジェクトを編成するステップ(S10)が、前記複数の静的メディアファイルと前記動的メディアオブジェクトを、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項４記載の方法。
【請求項６】
前記コンテナが少なくとも１つの受信機へ漸進的に送信されることを特徴とする請求項５記載の方法。
【請求項７】
前記送信中、受信機が前記コンテナ内の前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを特徴とする請求項１乃至請求項６のいずれか１項に記載の方法。
【請求項８】
さらに、前記送信中に前記受信機が前記マルチメディアコンテナの前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを可能にするダウンロード制御情報を提供するステップ(S31)をさらに有することを特徴とする請求項７記載の方法。
【請求項９】
前記メディアオブジェクトの少なくとも１つが暗号化され、前記少なくとも１つの暗号化されたメディアオブジェクトの暗号復号化を可能にする暗号復号化データを提供するステップ(S32)をさらに有することを特徴とする請求項１記載の方法。
【請求項１０】
複数の協調されたメディアオブジェクトを管理する方法であって、
前記複数のメディアオブジェクトをマルチメディアコンテナに編成するステップ(S10)と、
前記複数のメディアオブジェクトの各々を参照する複数の識別子を前記マルチメディアコンテナに編成するステップ(S20)と、
前記マルチメディアコンテナに、前記複数のメディアオブジェクトを協調させる識別可能なファイルを提供するステップ(S30)とを有することを特徴とする方法。
【請求項１１】
前記複数のメディアオブジェクトが複数の静的メディアファイルを有することを特徴とする請求項１０記載の方法。
【請求項１２】
前記複数のメディアオブジェクトを編成するステップ(S10)が、前記複数の静的メディアファイルをインタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項１１記載の方法。
【請求項１３】
前記複数のメディアオブジェクトを編成するステップ(S10)が、複数のトラック内の複数の動的メディアオブジェクトと、複数の静的メディアファイルの両方を、前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項１０記載の方法。
【請求項１４】
前記複数のメディアオブジェクトを編成するステップ(S10)が、前記複数の静的メディアファイルと複数の動的メディアオブジェクトを、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項１３記載の方法。
【請求項１５】
複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを送信する装置(10)であって、
前記複数のメディアオブジェクトをマルチメディアコンテナに編成する手段(11)と、
前記複数のメディアオブジェクトの各々を参照する複数の識別子を前記マルチメディアコンテナに編成する手段(12)と、
前記マルチメディアコンテナに、前記複数のメディアオブジェクトを協調させる識別可能なファイルを提供する手段(13)と、
前記マルチメディアコンテナ及び前記統合されたマルチメディアプレゼンテーションを送信し、それによって前記送信されたコンテナから前記マルチメディアプレゼンテーションを直接的に表示することを可能にする手段(14)とを有することを特徴とする装置。
【請求項１６】
前記複数のメディアオブジェクトが少なくとも１つの静的メディアファイルを有することを特徴とする請求項１５記載の装置。
【請求項１７】
前記複数のメディアオブジェクトを編成する手段(11)が、前記複数の静的メディアファイルをインタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するように構成されることを特徴とする請求項１６記載の装置。
【請求項１８】
前記複数のメディアオブジェクトが、複数のトラック内の複数の動的メディアオブジェクトと、複数の静的メディアファイルの両方を有することを特徴とする請求項１７記載の装置。
【請求項１９】
前記複数のメディアオブジェクトを編成する手段(11)が、前記複数の静的メディアファイルと前記複数の動的メディアオブジェクトを、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するように適合されることを特徴とする請求項１８記載の装置。
【請求項２０】
前記マルチメディアコンテナが、前記送信中に受信機が前記マルチメディアコンテナの前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを可能にするように構成されることを特徴とする請求項１５記載の装置。
【請求項２１】
前記複数のメディアファイルの少なくとも１つが暗号化され、前記少なくとも１つの暗号化されたメディアオブジェクトの暗号復号化を可能にする暗号復号化データを提供する手段をさらに有することを特徴とする請求項１５記載の装置。
【請求項２２】
さらに、
前記送信中に前記受信機が、前記コンテナの前記識別可能なファイル及び複数のメディアオブジェクトをレンダリングすることを可能とするダウンロード制御情報を提供する手段を有することを特徴とする請求項２０記載の装置。
【請求項２３】
前記ダウンロード制御情報を提供する手段が、予め定められたダウンロードスピードに基づくバッファ遅延に関する情報を提供するように構成されることを特徴とする請求項２２記載の装置。
【請求項２４】
複数のメディアオブジェクトを有するマルチメディアプレゼンテーションのためのマルチメディアコンテナ(20)であって、
前記複数のメディアオブジェクトと、
前記複数のメディアオブジェクトを参照する複数の識別子と、
前記識別子に基づいて前記複数のメディアオブジェクトを協調させる識別可能なファイルとを有することを特徴とするマルチメディアコンテナ。
【請求項２５】
前記複数のメディアオブジェクトが、複数の静的メディアファイルと、複数のトラック内の動的メディアオブジェクトの少なくとも一方を有することを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項２６】
前記複数のメディアオブジェクトが、複数の静的メディアファイルと、複数の動的メディアオブジェクトの両方を有することを特徴とする請求項２５記載のマルチメディアコンテナ。
【請求項２７】
前記複数のメディアオブジェクトが、インタリーブされた連続的なデータフラグメントとして、前記マルチメディアコンテナ(20)内の一部(23)に編成されることを特徴とする請求項２４乃至請求項２６のいずれか１項に記載のマルチメディアコンテナ。
【請求項２８】
前記複数の静的メディアオブジェクトを参照する複数の識別子が、前記マルチメディアコンテナの第２の部分(21)に配置され、前記複数の動的メディアファイルを参照する複数の識別子が、前記マルチメディアコンテナ(20)の第３の部分(22)に配置されることを特徴とする請求項２５記載のマルチメディアコンテナ。
【請求項２９】
前記識別可能なファイルが、前記マルチメディアコンテナの前記第２の部分(21)に配置されることを特徴とする請求項２８記載のマルチメディアコンテナ。
【請求項３０】
さらに、前記マルチメディアコンテナの送信中に受信機が前記マルチメディアコンテナの前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを可能にするダウンロード制御情報を有することを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項３１】
前記ダウンロード制御情報が、前記マルチメディアコンテナの第４の部分に配置されることを特徴とする請求項３０記載のマルチメディアコンテナ。
【請求項３２】
前記複数のメディアオブジェクトが、MPEG, SVG, JPEG, GIF, PNG, SP MIDI, XHTML, SMIL及び３GPのいずれかによりフォーマットされることを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項３３】
前記識別可能なファイルが、SMIL, HTML, XHTML及びSVGのいずれかによりフォーマットされることを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項３４】
前記マルチメディアコンテナが、異なる形式の複数のメディアオブジェクトを透過的な方法で含むように構成され、それにより個々のメディアオブジェクトのアドレッシング、ファイル名及びＭＩＭＥ形式が維持されることを特徴とする請求項２４記載のマルチメディアコンテナ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全体としてメディアオブジェクトに関し、特には協調させられたメディアオブジェクトを有するマルチメディアプレゼンテーションに関する。
【背景技術】
【０００２】
マルチメディアは例えばビデオ、オーディオ、静止画、ベクトルグラフィックス等、様々な異なる形式を取りうる。通常、各形式のメディアは、コンピュータシステムに記憶するための、メディアのフォーマットに依存したネイティブファイルフォーマットを有する。
【０００３】
マルチメディアに関しては、空間的及び／又は時間的冗長性を利用してメディアの圧縮されたフォーマットを得るための圧縮フォーマットが多数存在する。例えば、ビデオファイルの場合、H.263圧縮標準（非特許文献１参照）に従って、オーディオクリップはAMR（非特許文献２参照）又はAAC（非特許文献３参照）に、画像はJPEG（非特許文献４参照）にそれぞれ圧縮されうる。
【０００４】
現在では、一般的なファイル、より具体的にはメディアファイルを記憶及び／又は送信するための様々な異なる方法が存在する。その方法の１つは、ファイルを所謂ファイルコンテナに含める方法である。それらコンテナの例は、ＵＮＩＸ（登録商標）システム用のTAR（テープアーカイブ）及び、Zipファイルを含む。これらはメディアファイルを含むことが可能であるが、プレゼンテーション用の制御、時間指定されたメディア(timed media)のと同期及びインタリーブメディアの可能性についての機能を持っていない。既知の別の方法は、ファイルを電子メールの添付ファイル、所謂マルチパートMIMEに含める方法である。この場合、プレゼンテーション用の開始位置を示すことは可能だが、その他の点では上述した制限が当てはまる。さらに別のマルチメディアフォーマットの種類が存在する。このフォーマットは、メディアファイル自体は格納せず、所定のメディア形式のフレームメディアコンテンツを格納する。これらのフォーマットは、メディアファイルを格納及び復元することが可能なような、コンテナフォーマットの透明性やインテグリティを欠いている。このようなマルチメディアフォーマットの例には、ASF(Advanced Streaming Format) 及びFlashが含まれる。
【０００５】
第３世代パートナーシッププロジェクト（３ＧＰＰ）は時間指定されたマルチメディア（オーディオ及びビデオ）を、ISOベースメディアファイルフォーマット（非特許文献６参照）で搬送するための３ＧＰＰファイルフォーマット(3GP)（非特許文献５参照）を標準化した。これは、所謂マルチメディアメッセージサービス（ＭＭＳ）及びマルチメディア配信用のトランスペアレントエンドツーエンドパケット交換ストリーミングサービス（ＰＳＳ）（非特許文献７参照）に用いられている。さらに、ストリーム化されたメディアを提供するためのストリーミングサーバは３ＧＰファイルを用いることが可能である。
【０００６】
【非特許文献１】ITU T Recommendation H.263 (2001), Video codec for low bit rate communication.
【非特許文献２】3GPP TS 26.07 1: Mandatory Speech CODEC speech processing functions; AMR Speech CODEC; General description.
【非特許文献３】ISO/IEC 14496 2:2001, Information technology   Coding of audio visual objects   Part 3: Audio (MPEG 4 part 3).
【非特許文献４】ITU T Recommendation T.81 (1992).
【非特許文献５】3GPP TS 26 244: Transparent end to end packet switched streaming service (PSS); 3GPPfileformat (3GP).
【非特許文献６】ISO/IEC 14496 12:2003 1 15444 12:2003: Information technology   Coding of audio visual objects   Part 12: ISO base media file format I Information technology   JPEG 2000 image coding system   Part 12: ISO base media file format.
【非特許文献７】3GPP TS 26.234: Transparent end to end packet switched streaming service (PSS); Protocols and codecs.
【特許文献１】米国特許公開2003/0053416A1号公報
【発明の開示】
【０００７】
本発明の目的は、改善されたマルチメディアプレゼンテーションの送信を実現することにある。
【０００８】
特には、異なるファイルフォーマットを含むマルチメディアプレゼンテーションの改善された送信を実現することが望まれる。
【０００９】
本発明の具体的な目的は、例えば開始点、不連続な(discrete)メディアオブジェクト及び連続的なメディアトラックを含み、ＭＩＭＥ形式を格納し、個々のメディアオブジェクトの圧縮可能性を有する、フルメディアプレゼンテーションのためのコンテナフォーマットについての解決策を提供することにある。
【００１０】
本発明の別の具体的な目的は、複数のメディアオブジェクトを複数のインタリーブされたフラグメントに分割することにより、複数のメディアオブジェクトをインタリーブされた状態で格納可能なコンテナを提供することにある。
【００１１】
さらに本発明の別の具体的な目的は、連続的なメディアトラック（例えばオーディオ及びビデオ）及び不連続的なファイル（個別のイメージ）の少なくとも一方を含む、混在したメディアオブジェクトの漸進的(progressive)ダウンロードを可能とする方法を提供することにある。
【００１２】
本発明のさらに別の具体的な目標は、新規なコンテナフォーマット及び保護情報ボックスを用いる暗号化を提供することにある。
【００１３】
本発明のさらに別の具体的な目標は、個々のファイル、メディアトラック、データボックス（”mdat”）の全て又はその一部を含む情報の暗号復号化を行なうための情報を提供することにある。
【００１４】
これら目的及び他の目的は、添付した特許請求の範囲に従って達成される。
本発明はあらゆる種類のメディア形式を一種類のファイル、例えば３ＧＰに結合することを可能にする。本発明は、この結合を、３ＧＰファイルに含ませられた後も、個々のメディアオブジェクトのアドレッシング、ファイル名及びＭＩＭＥ形式を維持する透過的な方法で行なうことを可能にする。
【００１５】
本発明はまた、コンテナファイル内の全メディアを、漸進的にユーザへダウンロード可能なように、すなわち、ダウンロード中にいくらかの遅延を持ってレンダリングすることが可能なフォーマットでダウンロード可能なように、インタリーブすることを可能にする。これは、対として表される、伝送ビットレートに依存する初期遅延に関する情報によって拡張される。特定値の間のビットレートに関しては、線形補間により、初期ダウンロード遅延についての予測上限(upper estimate)を得ることができる。他の特徴は、個々のファイルを例えばgzipを用いて圧縮しうることである。
【００１６】
本発明による効果のいくつかを挙げると、
シンプルで便利なコンテナフォーマットであること（ただ１つのファイルを伝送及び再生すればよい）、
短い遅延／漸進的ダウンロードに最適化されたコンテナフォーマットであること（全メディアをインタリーブ可能）、
現行の技術を再利用するコンテナフォーマットであること（ＩＳＯベースのメディアファイルフォーマット及び３ＧＰファイルフォーマット、ＳＭＩＬ、メディア形式）、
異なるメディア形式と共に利用可能なコンテナフォーマットであること、等がある。
【００１７】
本発明、並びに本発明の他の目的及び利点は、以下の説明を添付図面と共に参照することによって最もよく理解できるであろう。
【発明を実施するための最良の形態】
【００１８】
以下、従来の３ＧＰＰファイルフォーマット（３ＧＰ）を、マルチメディアプレゼンテーション用の汎用コンテナフォーマットへ拡張するという観点から本発明を説明する。しかし、本発明は、他の様々な形態において実施することが可能であり、ここで説明する例や実施形態に限定して解釈されるべきものではない。むしろ、これらの例及び実施形態は、本明細書の記載が本発明を本技術分野に属する当業者に対して十分に伝達できるように提供されている。
【００１９】
なお、１つ以上のファイルフォーマットは、コンピュータメモリのような記憶媒体や、例えばローカルシステム内での伝送やローカル又はグローバルネットワークを通じて送信するための電気信号又は無線信号のような物理信号によって表されることを理解すべきである。以下の説明を通じて、ファイル又はメディアオブジェクトという用語は、聞く媒体に記憶するためのデータファイル及び、伝送又は配布のための信号の両方を含む意味で用いられる。
【００２０】
従来技術によれば、３ＧＰファイルフォーマットの対象範囲は、時間指定されたマルチメディア（ビデオ、オーディオ及び時間指定されたテキスト）及びそれらメディアのストリーミングヒント(streaming hints)であった。３ＧＰファイルは、以下の用途に用いられている。
-ビデオクリップ及び付随するオーディオの交換（ＭＭＳ）
-時間指定されたテキストのダウンロード（ＰＳＳ）
-漸進的ダウンロードを通じたＡＶプレゼンテーションの配信（ＰＳＳ）
-ＡＶＲＴＰストリーミングセッションの提供（ＰＳＳ）
-コンテンツクリエータからストリーミングサーバへのストリーミングセッションの配信（ＰＳＳ）。
【００２１】
従来技術に共通した特徴は、３ＧＰファイルのコンテンツが時間指定されていること−すなわち、３ＧＰファイルが時間指定されたマルチメディア又はヒントの１つ又は複数のパラレルトラックを含んでいることである。各トラックは個別にアクセス可能な時間単位に分割され、同期及びランダムアクセス機能を可能にしている。ＭＳＳにおけるプレゼンテーション又はＰＳＳにおけるセッションを構成可能な全てのメディア形式の中で、３ＧＰファイルはオーディオ、ビデオ及び時間指定されたテキストのみを搬送可能である。
【００２２】
例えばプレゼンテーション又はそういったプレゼンテーションの漸進的なダウンロードのために、いくつかのファイル又はメディアオブジェクトを取り扱う際の問題点には、以下のようなものがある。
１）開始点がどこであるのかを明確にしなければならない（例えばＳＭＩＬファイルの名称や場所）。
２）コンテンツクリエータが、オペレータに、依存関係を有するいくつかのファイル又はオブジェクトを配信する必要がある。これは、依存関係を保持するための所定の方法によって保存することが必要な多くのファイルを含むため、問題の原因となりうる。１つのファイルが失われると、プレゼンテーションが全く使用できなくなるかもしれない。そのため、マルチメディアプレゼンテーションの全メディアオブジェクトを１つのコンテナにまとめることが可能であれば、それは利点となるであろう。
３）ユーザが１つの”アイテム”の代わりに、いくつかのファイルを取り扱わねばならない。ピアにいくつかのファイルを移動又は送信し、ファイル間の相対的な構成を維持し続けるようにするのは難しいものとされている。
４）いくつかのファイルを要求するタイミングが困難であろう。これは、それらのファイルが異なるサイズを有していたり、異なる時間範囲に渡るものであったりするかもしれないからである。適切な時間に配信するように用意されたメディアを考慮したインタリーブファイルフォーマットは存在しない。さらに、クライアントは、与えられた伝送帯域幅や、バイト数や秒数によるダウンロード量を、（中断を回避するために）再生が開始する前に知る必要があるだろう。
【００２３】
３ＧＰファイルによって搬送可能なマルチメディアに加え、ＰＳＳには、それぞれのネイティブファイルフォーマットで格納された多数のメディア形式が存在する。静止画（ＪＰＥＧ）、ビットマップグラフィックス（ＧＩＦ及びＰＮＧ）、ベクトルグラフィックス（ＳＶＧ）、合成オーディオ（ＳＰ−ＭＩＤＩ）及びテキスト（ＸＨＴＭＬ及びＳＭＩＬ）。ＰＳＳセッションにおいては、オーディオ及びビデオのみがストリーミングされるため、従来技術では、これらメディア形式についてはＨＴＴＰを通じてファイル毎に配信しなければならなかった。
【００２４】
例えば、漸進的にダウンロード可能なＳＶＧファイルのように、漸進的にダウンロード可能なファイルがプレゼンテーションの一部であるとすると、そのファイルを分割し、継続時間の長い他のトラックやファイルとインターリーブすることが可能である。
【００２５】
符号化されたコンテンツについてのコンテンツ形式を”明白に(in the clear)”知らせることの可能な暗号化メカニズムもまた必要となる。
【００２６】
基本的に本発明は、マルチメディアプレゼンテーション用のコンテナフォーマットを規定し、それにより、静的なメディアファイル及び／又は動的なメディアストリームといったメディアオブジェクトと、識別可能なシーン記述ファイルとを含むマルチメディアプレゼンテーション全体を、１つのユニットとして送信及び格納可能となる。
【００２７】
本発明のある具体的な実施形態によれば、コンテナフォーマットは、漸進的なダウンロードに最適化された、インターリーブされたユニットである。それにより、マルチメディアプレゼンテーション全体が、所謂漸進的ダウンロード又はストリーミングによって伝送並びにダウンロード可能となる。
【００２８】
本発明は、従来の３ＧＰＰファイルフォーマット（３ＧＰ）を、マルチメディアプレゼンテーション用の汎用的なコンテナフォーマットに拡張することを可能にする（図１及び図２を参照）。本発明による拡張３ＧＰファイル又はコンテナは、連続的もしくは時間指定されたマルチメディアの格納に限定されず、シーン記述ファイル（例えばＳＭＩＬ）及び静的メディア（画像、グラフィックス）をも格納可能である。原理的には、ＭＭＳ及びＰＳＳで用いられるあらゆる種類のマルチメディアを、拡張３ＧＰファイル内にバイナリファイルとして格納可能である。
【００２９】
本発明を図３に示す一般的な通信システムとの関連において説明するが、本発明はこの特定例に限定されない。MMP MANAGERは、マルチメディアプレゼンテーションマネジャと呼ばれ、マルチメディアプレゼンテーションを構成するメディアオブジェクトを、例えばマルチメディアプレゼンテーション全体の送信、格納又は表示のために１つのユニットとして編成する等の、本発明に係る機能を提供する。
【００３０】
図４を参照すると、本発明によれば、複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを送信する方法は、最初のステップＳ１０において、それらのメディアオブジェクトを、マルチメディアコンテナ又はコンテナフォーマットにパッケージ化又は編成するステップを含む。メディアオブジェクトを見つけられるように、複数の対応する識別子又はロケータが、ステップＳ２０において、同じコンテナ内に編成される。続いて、マルチメディアプレゼンテーションのフレームワークを規定するため、メディアオブジェクトを協調させる所謂シーン記述ファイルが、ステップＳ３０において同一のマルチメディアコンテナ内に与えられる。最後に、ステップＳ３３において、統合もしくは包含されたマルチメディアプレゼンテーションを有するコンテナ全体が、ある受信ユニットへ送信される。
【００３１】
シーン記述は、受信ユニットがシーン記述ファイルを開始位置又は開始ファイルとして見出せるよう、明確に識別可能であるべきである。
【００３２】
本発明に係る方法によって、マルチメディアプレゼンテーション全体を、送信ユニットＴｘから１つのユニット又はファイルとして送信及び／又はダウンロードすることが可能な１つのコンテナにパッケージ化することが可能となる。
【００３３】
本発明のある具体的な実施形態によれば、漸進的ダウンロード、すなわち、プレゼンテーションの残り部分が送信中の間も、受信ユニットＲｘが、既に受信した部分のレンダリングを開始可能な、所謂プログレッシブダウンロードを適用することが可能である。
【００３４】
本発明に係る方法のある具体的な実施形態によれば、メディアオブジェクトは例えば、JPEG, GIF, SVG, PNG, SPMIDI, XHTML, SMIL及び3GPを含むことが可能である。
【００３５】
本発明による方法の別の具体的な実施形態によれば、メディアオブジェクトは複数のトラックに含まれる複数の動的メディアオブジェクト、例えば、ビデオ、オーディオ及び時間指定されたテキストを含むことが可能である。
【００３６】
シーン記述ファイルは、任意の適切な規格、例えばＳＭＩＬ，ＸＨＴＭＬ及びＳＶＧのいずれかに従ってフォーマットされうる。
【００３７】
さらに別の実施形態には、静的メディアファイル及び／又は動的メディアストリームを、同一コンテナ内に編成するステップが含まれる。
【００３８】
さらに別の具体的な実施形態によれば、メディアオブジェクトはマルチメディアコンテナ内に、インタリーブされた連続的なデータフラグメントとして編成される。フラグメントを表す他の言葉としては、パート、エクステント及びチャンクがある。
【００３９】
本明細書において、静的、バイナリ及び不連続(discrete)メディアファイルという用語は、メディアファイルの範囲を所定の種類のものに限定することなく、同義的に用いられる。
【００４０】
受信ユニットＲｘが漸進的ダウンロードを利用できるよう、本発明による方法の一実施形態は、レンダリングを可能とする制御情報を提供するステップＳ３１を有している。制御情報は予め定められたダウンロード速度に基づく初期或いはバッファ遅延のようなパラメータを含んでよい。
【００４１】
本発明に係る新規なコンテナに、暗号化されたメディアファイルの格納を可能とするため、本発明の一実施形態は、暗号化されたメディアファイルの暗号方法を復号もしくは認識するための鍵情報を提供するステップＳ３２を含む。
【００４２】
同様に、図４をも参照すると、ステップＳ１０〜Ｓ３０は、本発明によるマルチメディアプレゼンテーション管理方法の実施形態を表している。この方法は伝送方法と密接に関連するが、伝送ステップは含まれていない。管理という用語は、伝送、格納、暗号化といった動作を表すために用いられるが、メディアオブジェクト及び、そのような動作に関連する情報の準備としても解されうる。
【００４３】
マルチメディアプレゼンテーション全体が１つのファイル又はコンテナに含まれるため、プレゼンテーションをどこかの記憶装置に非常に簡単に格納することが可能である。同様に、コンテナを例えばシステムのある部分から別の部分へ移動したり、コンテナを複数のユーザに配信することも容易である。
【００４４】
本発明の一実施形態による３ＧＰファイルフォーマットの拡張は、通常、３ＧＰファイル内へ最上位レベル(top-level)ファイルツリーを含ませるステップを含む。このようにして、いくつかのファイル（例えばＳＭＩＬファイル、オーディオトラック及びいくらかの画像）から構成されるＰＳＳプレゼンテーションを、単独の３ＧＰファイル内にパッケージ化することが可能になる。そして、マルチメディアプレゼンテーションの全体を、例えば（漸進的な）ダウンロードを通じ、１つのエンティティとしてクライアントへ配信し、ローカル再生することが可能になる。さらに、拡張３ＧＰフォーマットを、ＰＳＳセッション全体を１つのエンティティとして格納し、ＰＳＳサーバに配信するためにも使用可能である。そして、サーバは拡張３ＧＰファイルを読み取り、ＳＭＩＬファイル及び画像をＨＴＴＰを通じてクライアントに配信するとともに、オーディオトラックはＲＴＰを通じてクライアントにストリーミングすることが可能になる。
【００４５】
本発明による、バイナリファイルの３ＧＰファイルへのパッケージ化又は編成は、ファイル間の関係が、別個のファイルの状態と拡張３ＧＰファイルの状態とで等しくなるよう、バイナリファイルのディレクトリ構成を保持するように設計される。しかし、バイナリファイルが一旦３ＧＰファイルに含められたならば、コンテンツを再生又は提供するためにそれらを個別のファイルにばらす必要はない。格納された全ファイルは、３ＧＰファイルの内部もしくは外部から同じ方法で参照される。
【００４６】
一般に、バイナリファイル又は静的メディアファイルは、時間指定されたマルチメディアに合わせて設計された通常のトラックには含まれず、３ＧＰファイルの最上位レベルにあるファイルツリー内の識別子によって参照される。しかし、包含されたファイルそれ自体は、３ＧＰファイル全体が漸進的ダウンロード用に利用可能なよう、通常のトラックを用いてインターリーブすることが可能である。
【００４７】
本発明の実施形態に係るマルチメディアプレゼンテーション送信用装置１０を、図５を参照して説明する。
装置１０は、マルチメディアプレゼンテーションの複数のメディアオブジェクトを、１つのマルチメディアコンテナ内に編成するためのユニット１１を有する。さらに、装置１０は、同一マルチメディアコンテナ内に編成された複数のメディアオブジェクトを参照する複数の識別子を編成するためのユニット１２を通常有する。また、装置はさらに、複数の識別子に基づいて複数のメディアオブジェクトを協調させる、識別可能なシーン記述ファイルをコンテナに提供するためのユニット１３を有する。最後に、装置１０は、統合されたマルチメディアプレゼンテーションを有するコンテナを送信するためのユニット１４を含む。この特定の実施形態において、送信ユニット１４はＩ／Ｏユニットにより表されている。
【００４８】
メディアオブジェクトには、バイナリメディアファイル（例えばMPEG, SVG, PNG, SP MIDI, XHTML, SMIL, 3GP, JPEG, GIF）及び／又は、動的メディアオブジェクト又はストリーム（例えば、オーディオ、ビデオ、時間指定されたテキスト）の両方を含むことができる。
【００４９】
本発明のある具体的な実施形態において、メディアオーガナイザ１１は、複数のメディアオブジェクトを、インターリーブされた連続的なデータフラグメントとして編成する様に構成又は適合される。フラグメントを表す他の言葉としては、パート、エクステント及びチャンクがある。
【００５０】
他の具体的な実施形態によれば、装置は、受信ユニットＲｘがコンテナを受信した際に漸進的ダウンロードを利用可能（すなわち、受信ユニットＲｘが、残りの部分を受信し続けながら、一方ではマルチメディアプレゼンテーションのコンテンツの一部をレンダリング、表示又は実行することが可能）になるようにする制御情報を提供するための手段を有する。制御情報には、ある予め定められたダウンロード速度に基づく、初期又はバッファ遅延を含みうるが、これらに限定されない。
【００５１】
本発明による３ＧＰファイルフォーマットの拡張は、シーン記述、オーディオ、ビデオ及び、１つのファイルに格納すべき他のメディア形式を有する、自己完結型マルチメディアプレゼンテーションを可能とする。このように、拡張３ＧＰファイルは完全なプレゼンテーションを含みうるため、依存関係のあるいくつかのファイルと比較して、送信及び格納が大幅に容易となる。さらに、そのようなファイルに含まれる全てのメディアをインタリーブ可能であるため、漸進的ダウンロード用に非常に便利であろう。ミクストマルチメディアプレゼンテーションを格納する拡張３ＧＰファイルは、
− クライアントにおいて、漸進的にダウンロード（かつ同時に再生）され（ＰＳＳ）、
− 配信後にローカル再生され（ＰＳＳ及びＭＭＳ）、
− マルチメディアプレゼンテーションの汎用的な配信フォーマットとして機能する（ＭＢＭＳ）ことがそれぞれ可能である。
【００５２】
さらに、拡張３ＧＰファイルには、ＲＴＰストリーミング用のヒントトラックを有する完全なＰＳＳセッションだけでなく、ＨＴＴＰダウンロード用のファイルも含めることが可能である。セッション当たり１ファイルを配信し、セッション中のストリーミングにもダウンロードにも１つのファイルをソースとして用いることは、概念的に一層単純であろう。拡張されたサーバファイルは、クライアントへの配信を意図したものではなく、
− コンテンツクリエータからオペレータに配信され、
− ＰＳＳサーバにより、（トラックの）ストリーミング及び（メディアファイルの）ＨＴＴＰ配信に用いられる。
【００５３】
本発明によれば、拡張３ＧＰファイルは、３ＧＰファイルをもバイナリファイルとして含みうることに注目されたい。例えば、オーディオ及び時間指定されたテキスト（非特許文献６参照）を提供するためのＰＳＳセッションを含む３ＧＰファイルは、オーディオトラック用のＲＴＰヒントトラックと、時間指定されたテキスト用の個別の３ＧＰファイルを含んでいる。それは、ＰＳＳリリース５において、時間指定されたテキストはストリーミングされずにＨＴＴＰを介して配信されるからである。
【００５４】
図６を参照して、マルチメディアコンテナの一実施形態を説明する。
マルチメディアコンテナ２０は複数のメディアオブジェクト、複数のメディアオブジェクトを参照する複数の識別子又はロケータ、及び複数のメディアオブジェクトを識別子に基づいて協調させるシーン記述ファイルを含んでいる。
【００５５】
ある具体的な実施形態によれば、トラック中の静的メディアファイル及び／又は動的メディアオブジェクトの両方をマルチメディアコンテナ２０に含めることができる。メディアオブジェクトは１つ又は複数のインターリーブされた連続的なデータフラグメントとして格納するか、或いはそれらのネーティブフォーマットで格納することが可能である。
【００５６】
図７を参照して、別の具体的な実施形態によれば、複数の動的メディアオブジェクトを参照する複数の識別子が、コンテナの第１セクション２１に配置され、複数の静的メディアファイルを参照する複数の識別子が、コンテナの第２のセクション２２に配置される。インタリーブされたメディアオブジェクト（静的、動的の両方）は、コンテナの第３セクションに配置される。各セクションの実際の順番は、この実施形態に限定されない。加えて、シーン記述ファイルは、好ましくは静的又はバイナリメディアファイルとして取り扱われ、従ってコンテナ２０の第２セクション２２に含められる。しかしながら、マルチメディアコンテナ内の各セクションの個々の順序は、本実施形態に影響されない。
【００５７】
図８及び図９を参照して、マルチメディアコンテナの別の具体的な実施形態を説明する。
本実施形態では、第１セクション２１がムービーボックスmoovにより、第２セクション２２がファイルツリーボックスftreにより、第３セクション２３がメディアデータボックスmdatによりそれぞれ表されている。さらに、本発明によるコンテナ２０は、コンテナフォーマットタイプに関する情報を含むファイルタイプボックスftypを有している。
【００５８】
本発明による３ＧＰへの拡張は、ファイルツリーについての新しいプロファイルブランド、ファイルディレクトリ構造及び、拡張３ＧＰファイル内部のファイルのアドレッシングについてのルールを含んでいる。
【００５９】
（'3gd6'と表記された）ファイルディレクトリプロファイルは、ファイルディレクトリを含んだ３ＧＰファイルを規定する。ファイルディレクトリプロファイルに準拠するファイルは、１つ又は複数のファイルエントリを有するファイルツリーを必ず含んでいる。それらの１つはスタートファイルであろう。すなわち、プレゼンテーション又はストリーミングセッションのシーン記述ファイルを含むであろう。
【００６０】
コンテナの一実施形態によれば、トラック中の静的メディアファイル及び動的メディアオブジェクトの両方がコンテナに含まれる。ファイルディレクトリプロファイルは、ファイルが準拠していさえすれば、他の３ＧＰプロファイルと共に用いることか可能である。具体的には、
− ファイルディレクトリ及びベーシックプロファイルの組み合わせは、ファイルがファイルディレクトリ及びオーディオ、ビデオ又はテキストを伴う１つ以上のトラックを有することを暗示する。
− ファイルディレクトリ、ベーシック及び漸進的ダウンロードプロファイルの組み合わせは、３ＧＰファイル全体が複数のトラックを含み、包含するファイルが漸進的ダウンロードに適していることを暗示する。漸進的ダウンロードについての更なる詳細は、ファイル中に与えられる。
− ファイルディレクトリ及びストリーミングサーバプロファイルの組み合わせは、そのサーバファイルが、
- ＲＴＰを介してメディアストリームを提供するための１つ又は複数のヒントトラックを含んでいること、
- ＨＴＴＰを介して配信されるべき１つ又は複数のバイナリファイルを含んでいること、を暗示する。
【００６１】
ある１つのサーバファイルに含まれる複数のバイナリファイルの中の１つは、ＰＳＳセッション用のシーン記述（ＳＭＩＬ，ＨＴＭＬ）を含むであろう。付加的なファイルはセッションの一部（すなわち、画像、ＳＰ−ＭＩＤＩ、時間指定されたテキスト、等）であろう。
【００６２】
以下、具体的且つ説明に役立つ例を用いて、本発明をより詳細に説明する。
コンテナの別の実施形態によれば、コンテナは静的メディアファイルのみを格納する。トラックを有する３ＧＰにファイルディレクトリを付加するのに加え、ファイルディレクトリプロファイルを、ファイルディレクトリのみを含み、トラックを含まない（ムービーボックスなし）のファイル、つまり静的又はバイナリメディアファイルに対して用いてもよい。そのような３ＧＰファイルは、トラックによって搬送される連続的なメディアを含む必要がない、自己完結的なプレゼンテーションを生成するのに非常に便利であろう。例としては、画像、合成オーディオ又はテキストに基づく、ローカル再生又はＰＳＳセッション用のスライドショーが含まれる。
【００６３】
ファイルディレクトリプロファイルは３ＧＰプロファイルであり、'.3gp'というファイル拡張子と共に用いられるべきである。
【００６４】
・ファイルツリー(File tree)
バイナリファイルを格納するためのファイルディレクトリは、通常、拡張３ＧＰファイルの最上位レベルに含められる。ツリーは通常のディレクトリのように見え、いかなるタイプのバイナリファイル及び／又はサブディレクトリをも含むことが可能である。ファイルディレクトリはファイルツリーボックス内にメタデータとして格納され、その一方で、ディレクトリに含まれるファイルのバイナリコンテンツは、それを含むファイルのメディアデータボックス'mdat'内にチャンクとして格納される。
【００６５】
図８に示したファイルエントリに対応するファイルツリーの一例を図９に示す。以下、図９における各ボックスの機能について説明する。
ファイルツリーボックス'ftre'はコンテナボックスである。これは最上位レベルのボックスであり、３ＧＰファイルにおいてはファイルタイプボックス'ftyp'の後に、また、好ましくはムービーボックス'moov'の前に配置されるべきである（図８参照）。将来における改変を許容するため、表１に示すように、ファイルツリーボックスはバージョン番号を有する所謂フルボックスに基づいている。
【００６６】
【表１】
2007508779.tif 000003
【００６７】
ファイルツリーボックスは３ＧＰファイルツリーのルートレベルを規定する。ディレクトリボックス'diry'の階層(hierarchy)は、ファイルツリーの下位レベルを規定する。以下の表２によるディレクトリボックスはファイルツリーボックス又は他のディレクトリボックス内に含まれる。
【００６８】
【表２】
2007508779.tif 000004
【００６９】
各ディレクトリボックスは表３に示すディレクトリ名ボックス'dirn'を一つ含む必要がある。
【００７０】
【表３】
2007508779.tif 000005
【００７１】
ディレクトリ名(DirectoryName)は、ディレクトリの名前を含み、ヌルで終わるUTF-8形式の文字列である。
【００７２】
・ファイルエントリ(File entry)
ファイルツリー内のファイルは、ファイルツリー内の任意のレベル（ルートレベルを含む）に格納可能なファイルエントリボックス'fent'により規定される。ファイルエントリボックスはコンテナボックスであり、以下の表４に示すように規定される。
【００７３】
【表４】
2007508779.tif 000006
【００７４】
各ファイルエントリボックスは、表５及び表６に規定されるファイル情報ボックス(FileInfoBox)'finf'及びチャンク情報ボックス(ChunkInfoBox)'chin'を含む必要がある。
【００７５】
【表５】
2007508779.tif 000007
【００７６】
ファイル名(FileName)及びコンテンツタイプ(ContentType)はヌルで終わるUTF-8形式の文字列である。コンテンツタイプはそのファイルについてのＭＩＭＥ形式であるべきである。コンテンツエンコーディング(ContentEncoding)はオプションであり、ヌルで終わる文字列である。コンテンツエンコーディングは３ＧＰファイル内に格納されたファイルがエンコードされていることを示すために用いられ、HTTP/1.1についてのContent-Encodingと同様に、解釈される前にデコードされる必要がある。取りうる値としては、'gzip'，'compress'，'deflate'の様なものがあるが、相互運用性の理由から、'gzip'のみがエントリとして用いられる。
【００７７】
【表６】
2007508779.tif 000008
【００７８】
包含されるファイルの実際のコンテンツは、メディアデータボックス'mdat'内に、１つ又は複数の連続するデータフラグメント（即ち、チャンク、エクステント）として格納される。チャンクオフセット(ChunkOffset)は６４ビットの整数で、３ＧＰファイル内におけるチャンクの開始位置までのオフセットを与える。また、チャンクサイズ(ChunkSize)は６４ビットの整数で、チャンクのサイズ、すなわちファイルエントリボックスによって規定されるファイルの長さを与える。チャンクオフセットは常に、含有ファイル、すなわち３ＧＰファイルを参照する点に留意されたい。発明者は、データリファレンスボックスを、データが取りうる外部の位置を示すために用いるのは止めた。これは、３ＧＰファイル内に含有するバイナリファイルのポイントは、自己完結ファイルを有することだからである。
【００７９】
本質的に、どのようなタイプのファイルもファイルツリー内に含めることができる。ＰＳＳについては、以下のメディアファイルが使われることであろう。静止画（ＪＰＥＧ）、ビットマップグラフィックス（ＧＩＦ及びＰＮＧ）、ベクトルグラフィックス（ＳＶＧ）、合成オーディオ（ＳＰ−ＭＩＤＩ）、テキスト（ＸＨＴＭＬ及びＳＭＩＬ）及び時間指定されたテキストを運ぶ３ＧＰファイル。ＰＳＳ用に適合されたいかなる新規のメディアファイルもまた、ファイルツリー内に格納可能であろう。例えば、ＤＬＳ（ダウンロード可能な音声）がこれに含まれる。
【００８０】
・開始位置(Start location)
拡張３ＧＰファイルは、ファイルツリーのどこかに置かれたシーン記述を含むことができる。もしそれがある場合、ファイルツリーボックスは表７による開始位置ボックスを含む必要がある。
【００８１】
【表７】
2007508779.tif 000009
【００８２】
開始ファイル位置(StartFileLocation)は、ファイルディレクトリ内の開始ファイルへの、最上位レベルからの相対的なパスを含む、ヌルで終わるUTF-8形式の文字列である。一例として、（ファイルツリーボックス内の）最上位レベルに格納されるファイルがシーン記述であることを示すには、開始ファイル位置が単純にファイル名（例えば、start.smil）を格納すればよい。
【００８３】
・漸進的ダウンロードについての情報
拡張３ＧＰファイルはファイルツリー内に、表８に規定される漸進的ダウンロード情報ボックス'pdin'を１つ含むことができる。
【００８４】
【表８】
2007508779.tif 000010
【００８５】
このボックスは、１００ビット／秒単位の伝送帯域幅と、ｍｓ単位の初期ダウンロード遅延との組み合わせを特定するＮ対の数を（ボックスの終わりまで）含んでいる。この情報を用いることにより、受信側は、複数の数値対の間を線形補完することにより、初期遅延の予測上限を得ることが可能になる。
【００８６】
・アドレッシング
３ＧＰファイル内のファイル及びトラックは、外部からのみならず、３ＧＰファイル内部でも一貫してアドレッシング可能である。３ＧＰファイルのファイルディレクトリ及び全トラックは最上位レベルに存在する（例：example.3gp/toplevelfile.smil 及び example.3gp/trackID=2）。
【００８７】
３ＧＰファイル内部のアドレッシングの一例として、図８に概要を示したマルチメディアコンテナshow.3gpを考える。このコンテナは、
− H.263トラック（仮にトラックＩＤ＝１を有するものとする）
− AMRトラック（仮にトラックＩＤ＝２を有するものとする）
− ルートレベルSMILファイル(start.smil)及び、
− ディレクトリ(img)内に２つの画像(cat.jpg及びdog.jpg)を含んでいる。
【００８８】
３ＧＰファイルの最上位レベルに置かれた、SMILファイル中のシーン記述は、図８におけるメディアファイルを以下のように参照するであろう。
H.263はトラックＩＤ＝１
AMRはトラックＩＤ＝２
cat.jpgはimg/cat.jpg
dog.jpgはimg/dog.jpg
【００８９】
本発明によれば、３ＧＰファイルのコンテンツの外部からは、以下のようにアドレッシングされる。
SMILはshow.3gp/start.smilH.263はshow.3gp/trackID=1
AMRはshow.3gp/trackID=2
cat.jpgはshow.3gp/img/cat.jpg
dog.jpgはshow.3gp/img/dog.jpg
【００９０】
ここで、上述の例におけるSMILファイルを、画像を含んでいるディレクトリimgへ移動することを考える。SMILファイルと相対的に、メディアは以下のように参照される。
H.263は../trackID=l
AMRは../trackID=2
cat.jpgはcatjpg
dog.jpgはdog.jpg
【００９１】
３ＧＰファイルのコンテンツの外部からは、以下のようにアドレッシングされるであろう。
SMILはshow.3gp/img/start.smil
H.263はshow.3gp/trackID=1
AMRはshow.3gp/trackID=2
cat.jpgはshow.3gp/img/cat.jpg
dog.jpgはshow.3gp/img/dog.jpg
【００９２】
ファイルツリー内に格納されるファイルは、ＰＳＳセッションの前又はセッション中に、ＨＴＴＰを介して配信されうる。３ＧＰファイル内に格納されたバイナリファイルを配信するＨＴＴＰサーバは、
− コンテンツタイプ(Content-Type)をファイルエントリボックスの値に設定し、
− コンテンツ位置(Content-Location)を、３ＧＰファイル内のバイナリファイルのＵＲＩに設定する。
【００９３】
一例として、図８における、ヒントトラックが含まれる３ＧＰファイルを、ＰＳＳセッションに含めることができる。クライアントがＨＴＴＰを介してSMILファイルにアクセスすると、クライアントはSMILファイルのコンテンツ位置、例えば、”http://mediaportal/show.3gp/”を受信する。SMILファイル内部のＨＴＴＰ参照の全ては、以後、コンテンツ位置に基づくようになり、HTTP GETを利用して３ＧＰファイル内部のバイナリファイルを参照することが可能になる。
【００９４】
クライアントは同様の方法で、ＲＴＳＰについてのＵＲＩもSMILファイルのコンテンツ位置に基づいて解決することが可能であり、３ＧＰファイルの参照にRTSP DESCRIGBEを、トラックの参照にRTSP SETUPを用いることが可能になる。
【００９５】
例：SMILファイルを読み出し、SMILファイル内で示されるリソースへのＵＲＩを解決する
GET    /exampledir/show.3gp/img/start.smil    HTTP/1.1
Host:www.example.com
HTTP/1.1    200    OK
Content-Location:
http://www.example.com/exampledir/show.3gp/img/start.smil
Content-Size:xxxxxx
Content-Type:application/ smil
<smil>
<body>
<seq>
<image src="catjpg" dur="3s"/>
<image src="dogjpg" dur="5s"/>
</seq>
</body>
</smil>
【００９６】
従って、ここで取得されるＳＭＩＬ表現は、以下のベースＵＲＩを与えられる。
"http://www.example.com/exampledir/show.3gp/img/start.smil"
そして、このＵＲＩは、SMILファイルの処理が実行された際に、解決されたＨＴＴＰ ＵＲＩを以下のようにする。
"http://www.example.com/exampledir/show.3gp/img/cat.jpg"
"http://www.example.com/exampledir/show.3gp/img/dog.jpg"
【００９７】
・ファイルフォーマット及び暗号化
従来技術によれば、３ＧＰファイルフォーマットを、暗号化されたメディアを格納するための機構により拡張することが可能である。テキストトラックの暗号化に適用する３ＧＰＰに特有な拡張に加え、暗号化された３ＧＰファイル用の３ＧＰプロファイルブランドが規定される。暗号化方法の詳細は、保護情報ボックス内に格納される。暗号化された３ＧＰファイルをＯＭＡ ＤＲＭバージョン２とともに用いるための手法の正確な細部は、ＯＭＡによって規定されるであろう。
【００９８】
拡張の裏にある概念は、暗号化されたメディアのコードポイント（コーデック識別子）を、暗号化されたメディア用の汎用的なコードポイントに置換することにある。これにより、デコード可能な状態になる前に暗号化を解く必要のあるビットストリームに、従前のプレーヤ(legacy player)及び他の暗号化に気付かないプレーヤがアクセスできなくなる。しかし、暗号化に気付くプレーヤに対しては、この新しいコードポイントが、暗号化されたメディアの暗号を解くための鍵管理及び必要条件に関する所定の情報を含んでいる。さらに、この新しいコードポイントはビットストリームの暗号化が解かれると、元のコーデック識別子と、ビットストリームのデコードに必要な他の復号化パラメータとを複製する。
【００９９】
暗号化された３ＧＰファイルはまた、暗号化されたメディアをＲＴＰを介して供給するストリーミングサーバにも利用可能である。そのような３ＧＰファイルのヒントトラック自体は暗号化されない。すなわち、ＰＳＳサーバは、暗号化されたコンテンツを供給するために暗号化を解く必要は全くない。
【０１００】
鍵管理及び暗号復号化についての情報は、３ＧＰファイルのヒントトラック内に格納される関連部分と共に、ＳＤＰ記述においてクライアントへ搬送される。しかし、コンテンツプロバイダがサーバに対し、データをストリーミングする前にインテグリティ保護を提供するといった何らかのアクションを取るようにさせたいと考えるかも知れないので、依然としてヒントトラックについてのコードポイントを再定義する必要性は存在する。新しいコードポイントは、必要なインテグリティ保護についての情報を提供する一方、元のコードポイント情報を複製する。このように、暗号化に気付かないサーバは、インテグリティが防止されるべきであったはずの暗号化されたデータを供給しなくなるであろう。
【０１０１】
・暗号化された３ＧＰファイルに対するプロファイル
３ＧＰファイル内の暗号化されたメディアを示唆するための１つの方法は、暗号化プロファイル（'3ge6'とブランド付けされる）を定義並びに利用することである。暗号化されているファイルの種類についてのさらなる詳細は、オーディオ／ビデオプレゼンテーションのダウンロード用基本プロファイルブランドや、暗号化されたコンテンツを提供するためのストリーミングサーバプロファイルといった、他のブランドによって与えられる。
【０１０２】
暗号化プロファイルに準拠するファイルは、暗号化されたメディアを含むメディアトラックに対し、暗号化サンプル記述エントリ（コードポイント）を用いなければならない。暗号化プロファイルに準拠するファイルは、暗号化されたトラックと暗号化されていないトラックの両方を含みうるが、それらが同一のメディアタイプである場合は除かれる。
【０１０３】
暗号化プロファイルはメジャーブランドとして用いられるべきである。暗号化プロファイルは、ファイルが準拠していさえすれば、他の３ＧＰプロファイルと共に用いることか可能である。
【０１０４】
具体的には、
− 暗号化プロファイルとベーシックプロファイルの組み合わせは、最大数のトラックの１つがビデオ、１つがオーディオ、１つがテキストであることを暗示する。ファイルは暗号化及び非暗号化トラックの両方を含みうる。しかし、暗号化トラックは暗号化に気付かないプレーヤに無視されることに留意すべきである。
− 暗号化プロファイル及び漸進的ダウンロードプロファイルの組み合わせは、ファイルが暗号化されており、かつ漸進的ダウンロードに適したものであることを暗示する。
− 暗号化プロファイル及びストリーミングサーバプロファイルの組み合わせは、１つか複数のヒントトラックによって参照されるコンテンツが暗号化されていることを暗示する。ＰＳＳサーバが、インテグリティ保護の提供のような特別なアクションを取る必要がある場合、ヒントトラックに対し、暗号化されたサンプル記述エントリ（コードポイント）が用いられる。
【０１０５】
一般プロファイル(General profile)は、暗号化プロファイルを含む全プロファイルのスーパーセットとして規定される点に留意すべきである。一般プロファイルに準拠する３ＧＰファイルは、ダウンロード又はストリーミングに適した３ＧＰファイルにまだ結合されていないか、鍵管理に必要な情報を持たない任意の数の暗号化トラック（のみ）を含みうる。
【０１０６】
暗号化されたベーシックプロファイルは３ＧＰプロファイルであり、'.3gp'というファイル拡張子と共に用いられるべきである。
【０１０７】
・暗号化されたメディアに対するコードポイント
３ＧＰファイル内のメディアトラックのサンプル記述エントリは、符号化されたメディアのフォーマット、すなわちコーデック及び他の符号化パラメータを特定する。従って、単にサンプル記述をパースすれば、プレーヤはどのトラックが再生可能であるのかを決定することが可能である。
【０１０８】
ＩＳＯベースメディアファイルフォーマットに基づくオーディオ及びビデオに対する全てのサンプルエントリは、必須フィールドのセットを含んでいる。さらに、該当するコーデックに特有のボックスを含んでも良い。ＭＰＥＧ−４コーデック（ビジュアル及びＡＡＣ）はＥＳＤボックス(ESDBox)を用い、それに対してＡＭＲ及びＨ．２６３はＡＭＲ固有ボックス(AMRSpecificBox)及びＨ２６３固有ボックス(H263SpecificBox)をそれぞれ用いる。
【０１０９】
暗号化されたファイルをトラック中に格納することの裏にある本質は、元のサンプル記述エントリを、暗号化されたメディア用の一般的なコードポイントによって”扮装(disguise)”することである。我々は、暗号化されたビデオ、オーディオ及びテキストを示唆する３つのコードポイント（４文字のサンプル記述エントリ）を、以下の表９に示すように規定した。
【０１１０】
【表９】
2007508779.tif 000011
【０１１１】
サンプル記述の”暗号化”バージョンは、元のサンプル記述を複製し、保護情報ボックスに元のフォーマットの詳細並びに暗号化されたメディアの解読のために必要な全てを含ませる。暗号化ビデオサンプルエントリ(EncryptedVideoSampleEntry)及び暗号化オーディオサンプルエントリ(EncryptedAudioSampleEntry)は、表１０及び表１１に規定され、保護情報(ProtectionInfo)ボックスはサンプルエントリに含まれるボックスのリストに単純に付加される。
【０１１２】
【表１０】
2007508779.tif 000012
【０１１３】
【表１１】
2007508779.tif 000013
【０１１４】
暗号化ビデオサンプルエントリ及び暗号化オーディオサンプルエントリはまた、サンプルエントリがＩＳＯベースメディアファイルフォーマットのサンプルエントリに基づいていさえすれば、３ＧＰファイルフォーマットに付加された他の任意のコーデックとともに用いることが可能である。
【０１１５】
暗号化テキストサンプルエントリ(EncryptedTextSampleEntry)は表１２に規定される。テキストトラックは３ＧＰファイルに特有であり、26.245において、時間指定されたテキストによって規定される。オーディオ及びビデオの場合と同様に、我々は最後に保護情報ボックスを追加した。
【０１１６】
【表１２】
2007508779.tif 000014
【０１１７】
・鍵管理
メディアの暗号化を解くために必要な要件は保護情報ボックス(ProtectionInfoBox)内に格納される。それは、暗号化されたメディアのコーデックを特定する元フォーマットボックス(OriginalFormatBox)と、メディアを保護するために用いられた保護手法を特定する手法形式ボックス(SchemeTypeBox)及び、手法に特有のデータ（各種法について規定済み）を含む手法情報ボックス(SchemeInformationBox)とを含む。保護情報ボックス及びそれに含まれるボックスを表１３〜表１６に規定する。
【０１１８】
【表１３】
2007508779.tif 000015
【０１１９】
【表１４】
2007508779.tif 000016
【０１２０】
データフォーマット(DataFormat)は暗号化の解かれた符号化データのフォーマット（コーデック）を特定する。３ＧＰファイルにおいて現在規定されているフォーマットは、'mp4v','h263','mp4a','samr','sawb'及び'3gtt'を含んでいる。
【０１２１】
【表１５】
2007508779.tif 000017
【０１２２】
手法形式(SchemeType)及び手法バージョン(SchemeVersion)は暗号化手法及びそのバージョンを特定する。OMA DRMに利用可能な一例を以下に示す。オプションとして、暗号化手法がインストールされていないユーザに対するウェブページを指すＵＲＩを含ませることも可能である。
【０１２３】
【表１６】
2007508779.tif 000018
【０１２４】
手法情報ボックスに含まれるボックスは、手法形式により規定される。
【０１２５】
・暗号化手法の例
OMAで用いられるべき暗号化手法は、現在OMA DLDRMにより開発中である。OMAにより規定される手法とともに、OMAはその手法を表すファイルフォーマットボックスも規定する必要がある。そのような規定をどのように行うかの例を以下に示す。
Scheme type: 'odrm'
Scheme version: 0
手法固有ボックス：OMADRMSampleFormatBox及びOMADRMHeadersBoxは、表１７及び表１８を参照。
【０１２６】
【表１７】
2007508779.tif 000019
【０１２７】
【表１８】
2007508779.tif 000020
【０１２８】
・暗号化サーバファイル
ＰＳＳサーバはまた、暗号化されたメディアのストリーミングに３ＧＰファイルを用いることが出来る。ここでの本質は、パケット化後に暗号化することである。概念的には、３ＧＰサーバファイルから暗号化されたメディアを提供するのと、暗号化されていないメディアを提供することに違いはない。いずれの場合も、ＰＳＳサーバはファイルのヒント指示に単に従えばよい。ストリーミングされたメディアを利用するために必要な全情報は、ＳＤＰ記述を介してクライアントに搬送される。暗号化されたメディアについては、メディアストリームの暗号化を解くための要件も、この情報に含まれる。
【０１２９】
・暗号化
本発明の具体的な実施形態によれば、拡張３ＧＰファイルに暗号化されたメディアファイルを含めることが可能である。従って、コンテナファイルフォーマット及び保護情報ボックスを用いる、暗号化及び暗号復号化のための解決策を以下に説明する。
【０１３０】
デフォルトで、バイナリファイルは”明白に”格納される。しかし、暗号化されたバイナリファイルを３ＧＰファイルのディレクトリに含めることも可能である。ファイルエントリにおける保護情報ボックスの存在は、バイナリファイル（メディアデータ）のコンテンツが暗号化されていることを示す。加えて、保護情報ボックスは、対応するメディアデータの暗号化手法と暗号化を解くために必要となる全ての情報とを特定する。
【０１３１】
ここで、保護情報ボックスは、表１３〜表１８において暗号化されたトラックに対して提案した保護情報ボックスと同じである。規定は同一であるが、バイナリファイルについての元フォーマットボックスは無視される（含まれない）。バイナリファイルのための保護情報ボックスの目的は、以下の２つであることに留意されたい。メディアが暗号化されていることを示唆すること、並びに、暗号化を解くために必要な条件を与えることである。
【０１３２】
保護情報ボックス'sint'は、メディアを保護するために用いられている保護手法を特定する手法形式ボックス'schm'と、（各種法について規定されている）手法に固有のデータを含む手法情報ボックス'schi'とを含む。
【０１３３】
手法情報ボックスに含まれるボックスは、手法形式により規定される。同様に、全部の'mdat'又は'mdat'内部のバイト範囲に適用するボックスを規定することが可能である。これは、多くの小さなファイルを用いるプレゼンテーションに効果的であろう。
【０１３４】
本発明によれば、３ＧＰファイルフォーマットを、バイナリファイルのＭＩＭＥ形式などの情報を有するバイナリファイル用のファイルツリーを含ませることにより、汎用コンテナフォーマットに拡張する。従って、ＭＭＳ及びＰＳＳで用いられる任意の種類のマルチメディアを、シーン記述とともに３ＧＰファイルへ格納することが可能である。コンテナフォーマットは、マルチメディアプレゼンテーションの全体又はセッションの漸進的ダウンロードを可能とする方法で構成される。それにより、拡張３ＧＰファイルはダウンロード又は漸進的ダウンロードにより配信され、３ＧＰプレーヤで再生されることが可能である。そのような、ヒントトラックを有する拡張３ＧＰファイルは、ＰＳＳセッション全体を含むことが可能であり、ＰＳＳサーバにより提供されうる。この場合、連続するメディアはＲＴＰを介してストリーミングされ、メディアファイルはＨＴＴＰを介して配信される。
【０１３５】
本発明により拡張され、ファイルツリーを含んだ３ＧＰファイルは、３ＧＰプロファイル（ブランド）を規定することが可能である。ファイルツリー中のファイルは”明白に”格納されても良いし、暗号化され、暗号化をどのように解くかに必要な要件とともに格納されてもよい。
【０１３６】
フラグメント化されたファイルについては、プレゼンテーション全部を１つ又は複数のフラグメントにする。そして、そのプレゼンテーションは、フラグメンテーション単位で（漸進的に）ダウンロード可能となり、後のフラグメントは前のフラグメントをさらなるファイル又はメディアトラック又は、ファイル又はメディアトラックの連続によって拡張するであろう。プレゼンテーションをフラグメント単位で送信して、ライブダウンロードを行うことも可能である。全体的なプレゼンテーション編成に関し、ＳＭＩＬファイルをいくつかのフラグメントに持たせること、また、ＳＭＩＬファイルの更新、拡張又は置き換えをどのように行うかについての手法を持たせることにより、これを実現することが出来る。
【０１３７】
さらに、本発明はプレゼンテーションをシーン記述とどのように組み合わせ可能であるか、またそれを、何らかのメディアがストリーミングされ、別のメディアがダウンロードされるような混在セッションのためのコンテナフォーマットとしてどうやって利用可能であるのかに関連する。
【０１３８】
本技術分野に属する当業者は、添付の特許請求の範囲によって規定される本発明の範囲を外れることなく、本発明にさまざまな変形や変更を加えうることを理解するであろう。
【図面の簡単な説明】
【０１３９】
【図１】３ＧＰＰに関する従来技術を模式的に示す図である。
【図２】本発明の一実施形態を模式的かつ一般的に示す図である。
【図３】本発明を実施可能な通信システムの模式的なブロック図である。
【図４】本発明に係る方法の実施形態の模式的なフローチャートである。
【図５】本発明に係る装置の実施形態を示す模式的なブロック図である。
【図６】本発明に係るマルチメディアコンテナの実施形態を模式的に示す図である。
【図７】本発明に係るマルチメディアコンテナの別の実施形態を模式的に示す図である。
【図８】本発明に係るマルチメディアコンテナの具体的な実施形態を模式的に示す図である
【図９】図８におけるマルチメディアコンテナの一部の実施形態を模式的に示す図である。
【図１】
2007508779.tif 000021
【図２】
2007508779.tif 000022
【図３】
2007508779.tif 000023
【図４】
2007508779.tif 000024
【図５】
2007508779.tif 000025
【図６】
2007508779.tif 000026
【図７】
2007508779.tif 000027
【図８】
2007508779.tif 000028
【図９】
2007508779.tif 000029
【手続補正書】
【提出日】平成17年11月21日(2005.11.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを伝送するための方法であって、
前記複数のメディアオブジェクトをマルチメディアコンテナに編成するステップ(S10)と、
前記マルチメディアコンテナ内に、前記複数のメディアオブジェクトの各々を参照する識別子を編成する(S20)ステップと、
前記マルチメディアプレゼンテーションの開始並びに前記マルチメディアプレゼンテーションの前記複数のメディアオブジェクト間の依存関係を特定することが可能となるよう、前記マルチメディアコンテナ内に、前記識別子に基づいて前記複数のメディアオブジェクトを協調させる識別可能なファイルを提供する(S30)ステップと、
前記マルチメディアコンテナ及び統合されたマルチメディアプレゼンテーションを送信する(S33)ステップとを有することを特徴とする方法。
【請求項２】
前記メディアオブジェクトが少なくとも１つの静的メディアファイルを有することを特徴とする請求項１記載の方法。
【請求項３】
前記メディアオブジェクトを編成するステップ(S10)が、前記メディアファイルをインタリーブされた連続的なデータフラグメントとしてマルチメディアコンテナ内に編成するステップを有することを特徴とする請求項２記載の方法。
【請求項４】
前記メディアオブジェクトが複数のトラック内の動的メディアオブジェクトと、複数の静的メディアファイルの両方を有することを特徴とする請求項１記載の方法。
【請求項５】
前記メディアオブジェクトを編成するステップ(S10)が、前記複数の静的メディアファイルと前記動的メディアオブジェクトを、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項４記載の方法。
【請求項６】
前記コンテナが少なくとも１つの受信機へ漸進的に送信されることを特徴とする請求項５記載の方法。
【請求項７】
前記送信中、受信機が前記コンテナ内の前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを特徴とする請求項１乃至請求項６のいずれか１項に記載の方法。
【請求項８】
さらに、前記送信中に前記受信機が前記マルチメディアコンテナの前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを可能にするダウンロード制御情報を提供するステップ(S31)をさらに有することを特徴とする請求項７記載の方法。
【請求項９】
前記メディアオブジェクトの少なくとも１つが暗号化され、前記少なくとも１つの暗号化されたメディアオブジェクトの暗号復号化を可能にする暗号復号化データを提供するステップ(S32)をさらに有することを特徴とする請求項１記載の方法。
【請求項１０】
複数の協調されたメディアオブジェクトを管理する方法であって、
前記複数のメディアオブジェクトをマルチメディアコンテナに編成するステップ(S10)と、
前記複数のメディアオブジェクトの各々を参照する複数の識別子を前記マルチメディアコンテナに編成するステップ(S20)と、
前記マルチメディアプレゼンテーションの開始並びに前記マルチメディアプレゼンテーションの前記複数のメディアオブジェクト間の依存関係を特定することが可能となるよう、前記マルチメディアコンテナに、前記複数のメディアオブジェクトを協調させる識別可能なファイルを提供するステップ(S30)とを有することを特徴とする方法。
【請求項１１】
前記複数のメディアオブジェクトが複数の静的メディアファイルを有することを特徴とする請求項１０記載の方法。
【請求項１２】
前記複数のメディアオブジェクトを編成するステップ(S10)が、前記複数の静的メディアファイルをインタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項１１記載の方法。
【請求項１３】
前記複数のメディアオブジェクトを編成するステップ(S10)が、複数のトラック内の複数の動的メディアオブジェクトと、複数の静的メディアファイルの両方を、前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項１０記載の方法。
【請求項１４】
前記複数のメディアオブジェクトを編成するステップ(S10)が、前記複数の静的メディアファイルと複数の動的メディアオブジェクトを、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するステップを有することを特徴とする請求項１３記載の方法。
【請求項１５】
複数のメディアオブジェクトを有するマルチメディアプレゼンテーションを送信する装置(10)であって、
前記複数のメディアオブジェクトをマルチメディアコンテナに編成する手段(11)と、
前記複数のメディアオブジェクトの各々を参照する複数の識別子を前記マルチメディアコンテナに編成する手段(12)と、
前記マルチメディアプレゼンテーションの開始並びに前記マルチメディアプレゼンテーションの前記複数のメディアオブジェクト間の依存関係を特定することが可能となるよう、前記マルチメディアコンテナに、前記複数のメディアオブジェクトを協調させる識別可能なファイルを提供する手段(13)と、
前記マルチメディアコンテナ及び前記統合されたマルチメディアプレゼンテーションを送信し、それによって前記送信されたコンテナから前記マルチメディアプレゼンテーションを直接的に表示することを可能にする手段(14)とを有することを特徴とする装置。
【請求項１６】
前記複数のメディアオブジェクトが少なくとも１つの静的メディアファイルを有することを特徴とする請求項１５記載の装置。
【請求項１７】
前記複数のメディアオブジェクトを編成する手段(11)が、前記複数の静的メディアファイルをインタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するように構成されることを特徴とする請求項１６記載の装置。
【請求項１８】
前記複数のメディアオブジェクトが、複数のトラック内の複数の動的メディアオブジェクトと、複数の静的メディアファイルの両方を有することを特徴とする請求項１７記載の装置。
【請求項１９】
前記複数のメディアオブジェクトを編成する手段(11)が、前記複数の静的メディアファイルと前記複数の動的メディアオブジェクトを、インタリーブされた連続的なデータフラグメントとして前記マルチメディアコンテナ内に編成するように適合されることを特徴とする請求項１８記載の装置。
【請求項２０】
前記マルチメディアコンテナが、前記送信中に受信機が前記マルチメディアコンテナの前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを可能にするように構成されることを特徴とする請求項１５記載の装置。
【請求項２１】
前記複数のメディアファイルの少なくとも１つが暗号化され、前記少なくとも１つの暗号化されたメディアオブジェクトの暗号復号化を可能にする暗号復号化データを提供する手段をさらに有することを特徴とする請求項１５記載の装置。
【請求項２２】
さらに、
前記送信中に前記受信機が、前記コンテナの前記識別可能なファイル及び複数のメディアオブジェクトをレンダリングすることを可能とするダウンロード制御情報を提供する手段を有することを特徴とする請求項２０記載の装置。
【請求項２３】
前記ダウンロード制御情報を提供する手段が、予め定められたダウンロードスピードに基づくバッファ遅延に関する情報を提供するように構成されることを特徴とする請求項２２記載の装置。
【請求項２４】
複数のメディアオブジェクトを有するマルチメディアプレゼンテーションのためのマルチメディアコンテナ(20)であって、
前記複数のメディアオブジェクトと、
前記複数のメディアオブジェクトを参照する複数の識別子と、
前記マルチメディアプレゼンテーションの開始並びに前記マルチメディアプレゼンテーションの前記複数のメディアオブジェクト間の依存関係を特定することを可能とするための、前記識別子に基づいて前記複数のメディアオブジェクトを協調させる識別可能なファイルとを有することを特徴とするマルチメディアコンテナ。
【請求項２５】
前記複数のメディアオブジェクトが、複数の静的メディアファイルと、複数のトラック内の動的メディアオブジェクトの少なくとも一方を有することを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項２６】
前記複数のメディアオブジェクトが、複数の静的メディアファイルと、複数の動的メディアオブジェクトの両方を有することを特徴とする請求項２５記載のマルチメディアコンテナ。
【請求項２７】
前記複数のメディアオブジェクトが、インタリーブされた連続的なデータフラグメントとして、前記マルチメディアコンテナ(20)内の一部(23)に編成されることを特徴とする請求項２４乃至請求項２６のいずれか１項に記載のマルチメディアコンテナ。
【請求項２８】
前記複数の静的メディアオブジェクトを参照する複数の識別子が、前記マルチメディアコンテナの第２の部分(21)に配置され、前記複数の動的メディアファイルを参照する複数の識別子が、前記マルチメディアコンテナ(20)の第３の部分(22)に配置されることを特徴とする請求項２５記載のマルチメディアコンテナ。
【請求項２９】
前記識別可能なファイルが、前記マルチメディアコンテナの前記第２の部分(21)に配置されることを特徴とする請求項２８記載のマルチメディアコンテナ。
【請求項３０】
さらに、前記マルチメディアコンテナの送信中に受信機が前記マルチメディアコンテナの前記識別可能なファイル及びメディアオブジェクトをレンダリングすることを可能にするダウンロード制御情報を有することを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項３１】
前記ダウンロード制御情報が、前記マルチメディアコンテナの第４の部分に配置されることを特徴とする請求項３０記載のマルチメディアコンテナ。
【請求項３２】
前記複数のメディアオブジェクトが、MPEG, SVG, JPEG, GIF, PNG, SP MIDI, XHTML, SMIL及び３GPのいずれかによりフォーマットされることを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項３３】
前記識別可能なファイルが、SMIL, HTML, XHTML及びSVGのいずれかによりフォーマットされることを特徴とする請求項２４記載のマルチメディアコンテナ。
【請求項３４】
前記マルチメディアコンテナが、異なる形式の複数のメディアオブジェクトを透過的な方法で含むように構成され、それにより個々のメディアオブジェクトのアドレッシング、ファイル名及びＭＩＭＥ形式が維持されることを特徴とする請求項２４記載のマルチメディアコンテナ。
【国際調査報告】
2007508779.tif 000030
2007508779.tif 000031
2007508779.tif 000032