(57)【要約】  時限メディアデータを生成するための装置および方法が提供され、時限メディアデータはサンプルを含み、方法は、時限メディアデータのサンプルを取得し、取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成することと、作成されたトラックに関連付けられた記述メタデータを含むプレゼンテーションファイルを生成することを含み、記述メタデータは、作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのトラックグループボックスを含み、すべてのトラックは同じグループの共有プロパティに属し、既存のトラックのグループのリストは、プレゼンテーションファイルにおける１つの位置で宣言され、リストのグループのトラックによって共有されるプロパティは、プレゼンテーションファイルの同じ単一の位置で宣言される。【選択図】図２ｂ
2020537376.tif 000002
【特許請求の範囲】
【請求項１】
時限メディアデータに基づいて１つまたは複数のメディアファイルを生成する方法であって、前記時限メディアデータはサンプルを含み、前記方法は、
前記サンプルを含む前記時限メディアデータを取得することと、
前記取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成することと、
前記作成されたトラックに関連付けられた記述メタデータを生成することと、
前記トラックおよび前記記述メタデータに基づいて、１つまたは複数のメディアファイルを生成することを含み、
前記記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって前記作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBox（トラックグループボックス）を含み、
前記記述メタデータは、前記作成されたトラックに対する複数のプロパティのセットをさらに含み、
前記記述メタデータは、前記複数のプロパティのセットの中からプロパティのセットを識別するために使用されるグループ記述インデックスに関連付けられた少なくとも１つのトラックグループ識別子を含むSampleToGroupBoxをさらに含む、方法。
【請求項２】
前記複数のプロパティのセットの少なくとも一部は、前記記述メタデータにおけるSampleGroupDescriptionBoxに含まれる、請求項１に記載の方法。
【請求項３】
１つのSampleGroupDescriptionBoxは、トラックごとに生成される、請求項１に記載の方法。
【請求項４】
同じトラックグループ識別子に対応する１つまたは複数のトラックが、前記複数のプロパティのセットの中からの同じプロパティのセットに関連付けられる、請求項１に記載の方法。
【請求項５】
前記単一の位置は、前記プレゼンテーションファイルにおけるトラックレベルよりも高いレベルに位置する、請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記トラックグループボックスは、前記トラックのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクスに関連付けられたグループ化タイプを示す、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記時限データは、前記時間サンプルの少なくとも１つがサブサンプルを含むように分割される、請求項１から６のいずれか１項に記載の方法。
【請求項８】
少なくとも１つのトラックグループは、前記グループに属する異なるトラックのサブサンプルを含む合成グループである、請求項７に記載の方法。
【請求項９】
前記トラックグループボックスは、前記グループの識別子を示し、前記識別子は、前記プレゼンテーションファイルにおいて一意である、請求項１から８のいずれか１項に記載の方法。
【請求項１０】
各グループの前記トラックによって共有されるトラックおよびプロパティの既存のグループのリストは、前記プレゼンテーションファイルにおけるムービーレベルで定義される、請求項９に記載の方法。
【請求項１１】
少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、前記プレゼンテーションファイルにおけるトラックレベルで定義される、請求項１０に記載の方法。
【請求項１２】
ムービーレベルの前記グループの定義は、同じ一意のグループ識別子によってトラックレベルにおける前記グループの定義に関連付けられる、請求項１１に記載の方法。
【請求項１３】
少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、前記プレゼンテーションファイルにおける前記単一の場所で定義される、請求項１から１２のいずれか１項に記載の方法。
【請求項１４】
前記１つのトラックに固有のプロパティは、トラックの既存のグループのリストにおいて直接定義される、請求項１２に記載の方法。
【請求項１５】
各プロパティは、異なる値をとることができ、トラックに固有の各プロパティの前記値は、時間とともに変化する、請求項１１に記載の方法。
【請求項１６】
前記トラックに固有の各プロパティの前記値は、前記トラック内の１つまたは複数のサンプルに対して定義される、請求項１５に記載の方法。
【請求項１７】
前記記述メタデータは、同じトラックのグループに属する前記トラック内の前記サンプルを記述する少なくとも１つのボックスをさらに含み、前記少なくとも１つのボックスは、時間とともに前記固有のプロパティをとることができる異なる可能な値を定義する、請求項１６に記載の方法。
【請求項１８】
前記少なくとも１つのボックスは、サンプルのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクスに関連付けられたグループ化タイプを示す、請求項１７に記載の方法。
【請求項１９】
連続するサンプルの前記プロパティによって得られる前記値が繰り返しパターンに従い、少なくとも１つのボックスが、前記繰り返しパターン自体およびその繰り返しを定義する、請求項１７または１８に記載の方法。
【請求項２０】
各プロパティは異なる値を取ることができ、前記プレゼンテーションファイルは、前記トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される、請求項１から１９のいずれか１項に記載の方法。
【請求項２１】
前記トラックグループボックスは、前記少なくとも１つのトラックのグループの定義が時間とともに変化し得るか否かを示すフラグを含む、請求項１から２０のいずれか１項に記載の方法。
【請求項２２】
前記トラックの少なくとも１つのグループの定義は、前記グループのトラックによって共有されるプロパティ、各プロパティをとることができる値、および／またはグループを構成するトラックを含む、請求項２１に記載の方法。
【請求項２３】
時限メディアデータに基づいて１つまたは複数のメディアファイルを生成するための装置であって、前記時限メディアデータはサンプルを含み、前記装置は、
前記サンプルを含む前記時限メディアデータを取得し、
前記取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成し、
前記作成されたトラックに関連付けられた記述メタデータを生成し、
前記トラックおよび前記記述メタデータに基づいて、１つまたは複数のメディアファイルを生成するように構成され、
前記記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって前記作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBox（トラックグループボックス）を含み、
前記記述メタデータは、前記作成されたトラックに関する複数のプロパティのセットをさらに含み、
前記記述メタデータは、前記複数のプロパティのセットの中からプロパティのセットを識別するために使用されるグループ記述インデックスに関連する少なくとも１つのトラックグループ識別子を含むSampleToGroupBoxをさらに含む、装置。
【請求項２４】
各プロパティが異なる値をとることができ、トラックに固有の各プロパティの前記値が時間とともに変化する、請求項２３に記載の装置。
【請求項２５】
各プロパティは異なる値をとることができ、前記プレゼンテーションファイルは、前記トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される、請求項２３または２４に記載の装置。
【請求項２６】
前記トラックグループボックスは、前記トラックの少なくとも１つのグループの定義が経時的に変化し得るか否かを示すフラグを含む、請求項２３から２５のいずれか１項に記載の装置。
【請求項２７】
プログラマブル装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラマブル装置にロードされ、前記プログラマブル装置によって実行されるときに、請求項１から２２のいずれか１項に記載の方法を実施するための命令のシーケンスを含む、コンピュータプログラム製品。
【請求項２８】
請求項１から２２のいずれか１項に記載の方法を実施するためのコンピュータプログラムの指示を記憶するコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般に、メディアデータの交換、管理、編集、および提示を容易にし、ストリーム管理を改善する柔軟かつ拡張可能なフォーマットを提供するための、例えばＭＰＥＧ標準化機構によって定義されるＩＳＯベースメディアファイルフォーマットによる、時限メディアデータ（Timed media data）のカプセル化および構文解析の分野に関する。
【０００２】
より具体的には、本発明は、時限メディアデータを生成し、カプセル化し、解析するための方法およびデバイスを対象とする。
【背景技術】
【０００３】
本発明は、メディアコンテンツのグループの交換、管理、編集、および提示を容易にし、適応ｈｔｔｐストリーミングプロトコルを使用して、例えばインターネットなどのＩＰネットワーク上でのその配信を改善する、柔軟かつ拡張可能なフォーマットを提供するために、例えばＭＰＥＧ標準化機構によって定義されるＩＳＯベースメディアファイルフォーマットに従って、メディアコンテンツをカプセル化し、構文解析し、ストリーミングすることに関する。
【０００４】
国際標準化機構ベースメディアファイルフォーマット（ＩＳＯ  ＢＭＦＦ、ＩＳＯ／ＩＥＣ １４４９６−１２）は、ローカルストレージまたはネットワークを介するかまたは別のビットストリーム配信メカニズムを介する伝送のいずれかのための符号化された時限メディアデータビットストリームを記述する周知のフレキシブルかつ拡張可能なフォーマットである。このファイルフォーマットは例えば、いくつかの拡張子を有する。例えば、パート５、ＩＳＯ／ＩＥＣ １４４９６−１５は、各種ＮＡＬ（ネットワーク抽象化レイヤ）ユニットベースのビデオ符号化フォーマットのためのカプセル化ツールを記載している。そのような符号化フォーマットの例は、ＡＶＣ（Advanced Video Coding）、ＳＶＣ（Scalable Video Coding）、ＨＥＶＣ（High Efficiency Video Coding）、またはＬ−ＨＥＶＣ（Layered HEVC）である。ファイルフォーマット拡張子の別の例は、静止画像又はＨＥＶＣ静止画像のような静止画像のシーケンスのためのカプセル化ツールを記述するＩＳＯ／ＩＥＣ ２３００８−１２である。このファイルフォーマットはオブジェクト指向である。これは、順次または階層的に編成され、タイミングおよび構造パラメータなどの符号化された時限メディアデータビットストリームの記述パラメータを定義するボックス（または４文字コードによって特徴付けられるデータ構造）と呼ばれるビルディング・ブロックから構成される。ファイルフォーマットでは、時間の経過に伴う全体的なプレゼンテーションがムービー（movie）と呼ばれる。ムービーは、メディアまたはプレゼンテーションファイルの最上位レベルにあるムービーボックス（４文字コード ‘moov’）によって記述される。このムービーボックスは、プレゼンテーションを記述する様々なボックスの設定を含む初期化情報コンテナを表す。これは、トラックボックス（４文字コード‘trak’を有する）によって表されるトラックに論理的に分割される。各トラック（トラック識別子（track_ID）によって一意に識別される）はプレゼンテーションに属するメディアデータ（例えば、ビデオのフレーム）の時限シーケンスを表す。各トラック内で、データの各時間単位はサンプルと呼ばれ、これはビデオ、オーディオ、または時間メタデータのフレームとすることができる。サンプルは、暗黙的に順番に番号付けされる。実際のサンプルデータは、ムービーボックスと同じレベルのメディアデータ・ボックス（４文字コード‘mdat’）と呼ばれるボックス内にある。ムービーはまた、プレゼンテーション全体のための情報を含むムービーボックスとして時間的に編成され得、その後に、２つのムービーフラグメントのリストおよびメディアデータボックスが続く。ムービーフラグメント（４文字コード‘moof’のボックス）内には、１つのムービーフラグメントにつき０以上のトラックフラグメントのセット（４文字コード‘traf’のボックス）がある。トラックフラグメントは次に、０個以上のトラックラン・ボックス（‘trun’）を含み、各トラックラン・ボックスは、そのトラックフラグメントに対するサンプルの連続したランを文書化する。
【０００５】
ファイルフォーマットでは、メディアまたはプレゼンテーションファイルがムービーボックスと同じレベルでメタボックス（‘meta’）内に記述された１つまたは複数の静的アイテム（項目））（例えば、１つまたは複数の静止画像）を含むこともできる。このメタボックスは、静的アイテムを記述する記述情報を含むことができ、この記述情報はいくつかのボックス（例えば、アイテム情報ボックス（‘iinf’）内のアイテムのリスト、およびアイテム位置ボックス（‘iloc’）内のデータアイテムの位置（データボックス内）に編成され、各アイテムは、アイテム識別子（item_ID）によって一意に識別される。実際のアイテムデータは、メタボックスのアイテムデータボックス（‘idat’）またはファイルトップレベルのメディアデータボックス（‘mdat’）のいずれかに格納される。
【０００６】
ＩＳＯＢＭＦＦは、複数の符号化された時限メディアデータビットストリーム、または複数のトラックおよび／または複数の静的アイテムを形成する符号化された時限メディアデータビットストリームのサブパートを含み得る。ＩＳＯＢＭＦＦおよびその拡張は、トラック、静的アイテム、またはサンプルを一緒にグループ化するためのいくつかのグループ化機構（メカニズム）を含む。グループは、通常、共通の意味および／または特性を共有する。
【０００７】
例えば、ＩＳＯＢＭＦＦは、エンティティグループ機構、トラックグループ機構、およびサンプルグループ機構を含む。エンティティグループ化機構は、トラックおよび／または静的アイテムが示されたグループ化タイプまたはセマンティック（意味論）に従ってグループ化されることを示すために使用され得る。トラックグループ化機構は、トラックが示されたグループ化タイプまたはセマンティックに従ってグループ化されることを示すために使用され得る。サンプルグループ化機構は、示されたグループ化タイプまたはセマンティックに関連付けられた特定のプロパティがトラック内のサンプルの示されたグループに適用されることを示すために使用され得る。
【０００８】
本発明者らは、既存のグループ化機構を使用して、ＩＳＯＢＭＦＦ内のコンポーネントのグループ、すなわち、アイテム（例えば、静止画像）、トラック（例えば、オーディオ、ビデオ、またはメタデータ）、またはそれらのグループ（例えば、トラックグループまたはエンティティグループ）のいずれかであるコンポーネントを記述し、シグナリングするときに、いくつかの問題に気付いた。
【０００９】
例えば、問題は、所与のコンポーネントに関連付けられた、またはコンポーネントのグループに属するすべてのコンポーネントに共通のプロパティの信号がオーバーヘッドおよび複雑さを生成する可能性があることである。
【００１０】
別の難点は、コンポーネントまたはコンポーネントのグループに共通するプロパティ（特性）が経時的にあまり動的ではないか、またはあまり動的ではないことである。
【００１１】
また、別の問題は、コンポーネントのグループに属するコンポーネントのリストの経時的な動的性（ダイナミティ）を伴う。
【００１２】
一般的に言えば、既存のソリューションは、この動的性を許容しない。
【発明の概要】
【００１３】
本発明は、前述の問題のうちの１つまたは複数に対処するように考案された。
【００１４】
この文脈では、時限メディアデータに基づいて１つまたは複数のメディアファイルを生成するための方法が提供され、時限メディアデータはサンプルを含み、当該方法は、
サンプルを含む時限メディアデータを取得することと、
取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成することと、
作成されたトラックに関連づけられた記述メタデータを生成することと、
トラックおよび記述メタデータに基づいて、１つまたは複数のメディアファイルを生成することを含み、
記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBox（トラックグループボックス）を含み、
記述メタデータは、生成されたトラックに関する複数のプロパティのセットをさらに含み、
記述メタデータは、複数のプロパティのセットの中からプロパティのセットを識別するために使用されるグループ記述インデックスに関連する少なくとも１つのトラックグループ識別子を含むSampleToGroupBoxをさらに含む。
【００１５】
本発明の任意選択の特徴は、従属請求項においてさらに定義される。
【００１６】
実施形態によれば、複数のプロパティのセットの少なくとも一部は、記述メタデータにおけるSampleGroupDescriptionBoxに含まれる。
【００１７】
実施形態によれば、トラック毎に１つのSampleGroupDescriptionBoxが生成される。
【００１８】
実施形態によれば、同じトラックグループ識別子に対応する１つまたは複数のトラックが、複数のプロパティのセットの中からの同じプロパティのセットに関連付けられる。
【００１９】
実施形態によれば、前記単一の位置（ロケーション／場所）は、プレゼンテーションファイル内のトラックレベルよりも高いレベルに位置する。
【００２０】
実施形態によれば、トラックグループボックスは、トラックのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクス（意味論）に関連付けられたグループ化タイプを示す。
【００２１】
実施形態によれば、時限データは、時間サンプルのうちの少なくとも１つがサブサンプルを含むように分割される。
【００２２】
実施形態によれば、少なくとも１つのトラックグループは、グループに属する異なるトラックのサブサンプルを含む合成グループである。
【００２３】
実施形態によれば、トラックグループボックスは、プレゼンテーションファイルにおいて一意であるグループの識別子を示す。
【００２４】
実施形態によれば、各グループのトラックによって共有されるトラックおよびプロパティの既存のグループのリストは、プレゼンテーションファイルにおけるムービーレベルで定義される。
【００２５】
実施形態によれば、少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、プレゼンテーションファイルにおけるトラックレベルで定義される。
【００２６】
実施形態によれば、ムービーレベルでのグループの定義は、同じ一意のグループ識別子によってトラックレベルでのグループの定義に関連付けられる。
【００２７】
実施形態によれば、少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、プレゼンテーションファイルにおける同じ単一の位置で定義される。
【００２８】
実施形態によれば、１つのトラックに固有のプロパティは、トラックの既存のグループのリストに直接定義される。
【００２９】
実施形態によれば、各プロパティは異なる値をとることができ、トラックに固有の各プロパティの値は、時間とともに変化する。
【００３０】
実施形態によれば、トラックに固有の各プロパティの値は、トラック内の１つまたは複数のサンプルに対して定義される。
【００３１】
実施形態によれば、記述メタデータは同じトラックのグループに属するトラック内のサンプルを記述する少なくとも１つのボックスをさらに含み、少なくとも１つのボックスは、時間とともに固有のプロパティをとることができる異なる可能な値を定義する。
【００３２】
実施形態によれば、少なくとも１つのボックスは、サンプルのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクスに関連付けられたグループ化タイプを示す。
【００３３】
実施形態によれば、連続するサンプルのプロパティによって得られる値は繰り返しパターンに従い、少なくとも１つのボックスは、繰り返しパターン自体およびその繰り返しを定義する。
【００３４】
実施形態によれば、各プロパティは異なる値をとることができ、プレゼンテーションファイルは、トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される。
【００３５】
実施形態によれば、トラックグループボックスは、トラックの少なくとも１つのグループの定義が時間とともに変化し得るか否かを示すフラグを含む。
【００３６】
実施形態によれば、トラックの少なくとも１つのグループの定義は、グループのトラックによって共有されるプロパティ、各プロパティをとることができる値、および／またはグループを構成するトラックを含む。
【００３７】
本発明の第２の態様によれば、時限メディアデータに基づいて１つまたは複数のメディアファイルを生成するための装置が提供され、時限メディアデータはサンプルを含み、当該装置は、
サンプルを含む時限メディアデータを取得し、
取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成すし、
作成されたトラックに関連付けられた記述メタデータを生成し、
トラックおよび記述メタデータに基づいて、１つまたは複数のメディアファイルを生成するように構成され、
記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBoxを含み、
記述メタデータは、作成されたトラックに関する複数のプロパティのセットをさらに含み、
記述メタデータは、複数のプロパティのセットの中からプロパティのセットを識別するために使用されるグループ記述インデックスに関連する少なくとも１つのトラックグループ識別子を含むSampleToGroupBoxをさらに含む。
【００３８】
実施形態によれば、各プロパティは異なる値をとることができ、トラックに固有の各プロパティの値は、時間とともに変化する。
【００３９】
実施形態によれば、各プロパティは異なる値をとることができ、プレゼンテーションファイルは、トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される。
【００４０】
実施形態によれば、トラックグループボックスは、トラックの少なくとも１つのグループの定義が経時的に変化し得るか否かを示すフラグを含む。
【００４１】
本発明の第２の態様は、上記第１の態様と同様の特徴および利点を有する。
【００４２】
本発明はソフトウェアで実施することができるので、本発明は、任意の適切な搬送媒体、特に適切な有形搬送媒体または適切な過渡搬送媒体上のプログラマブル装置に提供するためのコンピュータ可読コードとして実施することができる。有形キャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、またはソリッドステートメモリ装置などの記憶媒体を含むことができる。過渡搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または電磁信号、例えばマイクロ波またはＲＦ信号などの信号を含み得る。
【図面の簡単な説明】
【００４３】
本発明のさらなる利点は図面および詳細な説明を検討することにより、当業者に明らかになるのであろう。任意の追加の利点が本明細書に組み込まれることが意図される。
本発明の実施形態は、単に例として、以下の図面を参照して以下に記載される。
【図１】図１は、本発明の実施形態を使用することができる典型的なクライアント・サーバ・システムを示す。
【図２ａ】図２ａは、本発明の実施形態を使用することができる第１のシナリオを示す。
【図２ｂ】図２ｂは、本発明の実施形態を使用することができる第２のシナリオを示す。
【図３】図３は、本発明の１つまたは複数の実施形態を実施するためのコンピューティングデバイスの概略ブロック図である。
【図４】図４は、空間関係トラックグループの異なる使用例を示す。
【図５】図５は、空間関係トラックグループの異なる使用例を示す。
【図６】図６は、空間関係トラックグループの異なる使用例を示す。
【図７】図７は、空間関係トラックグループの異なる使用例を示す。
【図８】図８は、空間関係トラックグループの異なる使用例を示す。
【図９】図９は、空間関係トラックグループの異なる使用例を示す。
【図１０】図１０は、空間関係トラックグループの異なる使用例を示す。
【図１１】図１１は、空間関係トラックグループの異なる使用例を示す。
【図１２】図１２は、空間関係トラックグループの異なる使用例を示す。
【図１３】図１３は、空間関係トラックグループの異なる使用例を示す。
【図１４】図１４は、空間関係トラックグループの異なる使用例を示す。
【発明を実施するための形態】
【００４４】
以下の説明では、ムービーはいくつかの部分に時間的に分割され、各部分は「フラグメント」と呼ばれる。各フラグメントは、１つまたは複数のトラックに含まれ、関連する記述メタデータを伴う。したがって、フラグメントはトラック部分として見ることができる。
【００４５】
実際には、ＩＳＯＢＭＦＦファイルでは、メタデータはムービーボックス（‘moov’）に含まれ、ビットストリームはメディアデータボックス（‘mdat’）に含まれる。ムービーボックスはいくつかのトラック（例えば、オーディオトラックおよびビデオトラック）の記述を含むことができる。 
【００４６】
フラグメントの使用は、メディアデータがいくつかの部分に分割されることを可能にする。１つのフラグメントは１対のムービーフラグメントボックス（‘moof’）およびメディアデータボックス（‘mdat’）によって表され、ムービーフラグメントボックスは関連するメディアデータボックスのコンテンツを記述する。
【００４７】
したがって、フラグメント化されたＩＳＯＢＭＦＦファイルには、ボックス‘moov’、‘moof’および‘mdat’、‘moof’および‘mdat’、‘moof’および‘mdat’などが続く。最初のボックス‘moov’は、ＩＳＯＢＭＦＦファイル全体に共通のデータを含む。
【００４８】
以下の説明では、断片化されたＩＳＯＢＭＦＦファイルのトラック（‘trak’）に相当するものは‘traf’である。
【００４９】
本発明の文脈では、トラックが共通のプロパティ、すなわち、グループのすべてのトラックが存在するプロパティに従ってグループ化することができる。さらに、各トラックは、それに固有の、すなわちそのグループのすべてのトラックと共有されない他のプロパティを有することができる。
【００５０】
第１の実施形態によれば、プレゼンテーションファイルはトラックのグループを記述する少なくとも１つのトラックグループボックスを含み、同じグループに属するすべてのトラックは共通のプロパティを共有する。トラックの既存のグループのリストは、プレゼンテーションファイルにおける１つの単一位置（場所）で宣言され、グループのトラックによって共有される共通プロパティも、プレゼンテーションファイル内のこの同じ単一位置で宣言される。
【００５１】
第２の実施形態によれば、トラックに特有の（すなわち、グループのすべてのトラックによって共有されない）プロパティは、時間とともに異なる値をとる。
【００５２】
第３の実施形態によれば、トラックのグループを構成（合成）するトラックのセットは、時間とともに変化する。
【００５３】
第４の実施形態によれば、トラックグループボックスは、トラックの少なくとも１つのグループの定義が時間とともに変化し得るか否かを示すフラグを含む。この定義は、グループのトラックによって共有されるプロパティ（すなわち、グループ化基準）に関して、各プロパティ（各トラックに固有の、またはグループのすべてのトラックに共通の）をとることができる値に関して、および／またはグループを構成するトラックに関して変化し得る。
【００５４】
図１は、本発明を使用することができる典型的なクライアント・サーバ・システムを示す。本発明は、通信ネットワークを介してストリーミングするだけでなく、いかなる方法で配布されてもよいメディアファイルの生成に関係し得るようなシステムに限定されない。
【００５５】
このシステムはサーバ側に、メディアエンコーダ１００、特にビデオエンコーダ、メディアパッケージャ１１０、およびメディアサーバ１２０を備える。メディアパッケージャ１１０は、ＮＡＬＵパーサ１１１と、メモリ１１２と、ＩＳＯＢＭＦＦ（ＩＳＯＢＭＦＦ）ライタ１１３とを備える。メディアサーバ１２０は、マニフェストファイル（ＭＰＤ（Media Presentation Description）ファイルとしても知られる）１２１およびメディアセグメント１２２を生成することができる。システムはクライアント側に、異なるモジュールを有するメディアクライアント１５０、すなわち、ＩＳＯＭＢＦＦパーサ１５２、メディアデコーダ１５３、特にビデオデコーダ、ディスプレイ１５４、および適応ＨＴＴＰストリーミング、特にメディアセグメント１９０のストリーミングを制御するためのストリーミングマニフェスト１５９の構文解析をサポートするＨＴＴＰクライアント１５１をさらに備える。それはまた、符号化されたビットストリームおよび／または復号化されたピクチャに対して演算を実行することができるモジュール、すなわち変換モジュール１５５を含む。
【００５６】
典型的には、メディアクライアント１５０がメディアプレゼンテーションを構成するメディアサーバ１２０上で利用可能な異なるメディア表現の記述を取得するために、マニフェストファイル１２１を要求する。したがって、メディアクライアント１５０は、関心のあるメディアセグメント１２２を要求する。これらの要求は、ＨＴＴＰモジュール１５１を介して行われる。次に、受信されたメディアセグメントは、ＩＳＯＢＭＦＦパーサ１５２によって構文解析され、ビデオデコーダ１５３によって復号され、任意選択で、ディスプレイ１５４上で再生されるように変換部１５５を介して変換される。
【００５７】
ビデオシーケンスは、通常、ビデオエンコーダ１００によって符号化され、メディアパッケージャ１１０によって１つまたは複数のファイルにカプセル化される。生成されたファイルは、メディアサーバ１２０によってクライアントに利用可能にされる。
【００５８】
本発明のいくつかの実施形態によれば、別のモジュールがメディアパッケージャの一部として、またはメディアパッケージャの外側に、システムに含まれる：生成部１３０。この部により、ユーザはカプセル化されたメディアトラックを見ることができ、様々な画像操作をサンプルに適用することによって、それらを編集し、修正することができる。この生成部は、ユーザがＩＳＯＢＭＦＦライタによって生成されたメディアファイル内の追加トラックとして、ユーザの合成（コンポジション）の結果を挿入することを望むときに、メディアパッケージャと相互作用（インタラクト）する。
【００５９】
メディアサーバは、本発明が主に、１つまたは複数のメディアトラックの合成、導出、組み合わせ、変換、または集約から生じるトラックのメディアカプセル化および構成／記述を扱うという意味で、任意選択である。メディアサーバに関しては、伝送部分（ＨＴＴＰモジュールおよびマニフェストパーサ）が、本発明がレンダリングのためにカプセル化されたメディアファイルが提供される単純なメディアプレーヤからなるメディアクライアントにも適用されるという意味で、オプションである。メディアファイルは、フルダウンロード、プログレッシブダウンロード、アダプティブストリーミング、またはディスク上またはメモリからメディアファイルを読み取ることによって、提供することができる。
【００６０】
本発明による方法は図３に示すように、サーバ装置のＣＰＵ３０１によって実行されるとき、メディアパッケージャモジュール１１０によって、より具体的には、ソフトウェアコードを含む合成部１３０と協働するＩＳＯ  ＢＭＦＦライタモジュール１１３によって実行される。
【００６１】
典型的には、カプセル化モジュールが、ビットストリームの異なる基本単位（例えば、ビデオビットストリームからのＮＡＬＵ）を抽出し、識別し、ＩＳＯＢＭＦＦボックス階層に従って記述メタデータを有する１つまたは複数のトラックとして、符号化されたビデオビットストリームを含むＩＳＯＢＭＦＦファイルまたはＩＳＯＢＭＦＦセグメント１２２に符号化されたデータを編成するために、例えば、圧縮されたビデオ、オーディオ、またはメタデータから構成される、符号化された時限メディアデータビットストリームの高レベルシンタックスを読み取ることを担当する。
【００６２】
特定の実施形態によれば、符号化された時限メディアデータビットストリームはカプセル化ファイルフォーマット、例えば、ISO Base Media File Format（ＩＳＯ/ＩＥＣ １４４９６−１２及びＩＳＯ/ＩＥＣ １４４９６−１５）、Omnidirectional MediA Format(ＯＭＡＦ)（ＩＳＯ/ＩＥＣ ２３０９０−２）、及び関連する仕様に従って、及び場合によってはＭＰＥＧ標準化機構によって定義されるImage File Format（ＩＳＯ/ＩＥＣ ２３００８−１２）に従って１つ以上の静止画像ビットストリームと共に、ファイル又は小さい時間セグメントファイルにカプセル化される。
【００６３】
符号化されたビットストリーム（例えば、ＨＥＶＣ、ＡＶＣ）および場合によってはそのサブビットストリーム（例えば、タイル化されたＨＥＶＣ、ＭＶ−ＨＥＶＣ、スケーラブルなＨＥＶＣ）は、１つの単一トラックとしてカプセル化することができる。あるいは、空間的に関連する（すなわち、パノラマ画像のサブ空間部分である）複数の符号化ビットストリームを、いくつかのサブピクチャトラックとしてカプセル化することができる。あるいは、いくつかのサブビットストリーム（タイル、ビュー、レイヤ）を含む符号化されたビットストリーム（例えば、タイル型ＨＥＶＣ、ＭＶ−ＨＥＶＣ、スケーラブルＨＥＶＣ）は、複数のサブピクチャトラックとしてカプセル化されることができる。
【００６４】
サブピクチャトラックは、ピクチャまたは画像のサブ部分のためのデータを埋め込むトラックである。サブピクチャトラックは、他のサブピクチャトラック、またはサブピクチャが抽出されるフルピクチャ（パノラマピクチャとしても知られる）を記述するトラックに関連し得る。例えば、サブピクチャトラックは、タイルトラックとすることができる。これは、ＡＶＣトラック、ＨＥＶＣトラック、ＨＥＶＣタイルトラック、又はサンプルのシーケンスとしてカプセル化された任意の圧縮ビデオビットストリームによって表すことができる。
【００６５】
タイルトラックは、画像の空間部分、又は画像又はピクチャのサブピクチャに対応する時間調整されたビデオサンプルのシーケンスである。これは、例えば、画像における関心領域又は画像における任意の領域とすることができる。タイルトラックに対応するデータは、ビデオビットストリームから取得することができ、又はビデオビットストリームのサブ部分から取得することができる。例えば、タイルトラックは、ＡＶＣ又はＨＥＶＣに準拠したビットストリームとすることができ、あるいはＡＶＣ又はＨＥＶＣのサブパート又は例えばＨＥＶＣタイルのような任意の符号化されたビットストリームとすることができる。好ましい実施形態では、タイルトラックが独立してデコード可能である（エンコーダが他のタイルから動き予測を除去するように注意を払った）。タイルトラックがタイルを有するＨＥＶＣで符号化されたビデオビットストリームに対応する場合、ＩＳＯ/ＩＥＣ １４４９６−１５ ４th editionに記載されているように、'hvt1'トラックとして示されるＨＥＶＣタイルトラックにカプセル化することができる。次に、タイルベーストラックを参照して、パラメータセット、ビデオデコーダをセットアップするための高レベル情報を取得することができる。タイルトラックは、各タイルトラックにパラメータセット（システムタイルとしても知られている）を含めて繰り返すことによって、独立して復号可能なＨＥＶＣトラック'hvc1'または'hev1'トラックにカプセル化することもできる。タイルトラックは、サブピクチャをより大きな画像又はピクチャに空間的に合成するために使用することができる。
【００６６】
タイルベーストラックは、これらの1つまたは複数のトラック間で共有されるデータまたはメタデータを含む1つまたは複数のタイルトラックに共通のトラックである。タイルベーストラックは、1つまたは複数のタイルトラックから画像を構成するための命令を含み得る。タイルトラックは、完了デコーディングまたはレンダリングのためにタイルベーストラックに依存し得る。タイルベーストラックがタイルを有するＨＥＶＣで符号化されたビデオビットストリームから導出されるとき、それは、'hvc2'または‘hev2’トラックとして示されるＨＥＶＣトラックにカプセル化される。さらに、これは、トラック参照'tbas'を介してＨＥＶＣタイルトラックによって参照され、ＩＳＯ/ＩＥＣ １４４９６−１５ ４th editionに記載されているように、ＨＥＶＣタイルトラックに対する'sabt'トラック参照を使用してタイル順序付けを示すものとする。
【００６７】
合成トラック（参照（基準）トラックとも呼ばれる）は、画像を構成するために他のトラックを参照するトラックである。合成トラックの一例は、ビデオトラックの場合、サブピクチャトラックをより大きな画像に合成（構成）するトラックである。これは、例えば、各ビデオトラックからの画像をより大きな画像に構成するための変換パラメータ及び変換パラメータを提供するビデオトラックから導出されるトラックにおいて、ポストデコーディング動作によって行うことができる。合成トラックは、サブビットストリーム連結から生じるビットストリームを復号する前に形成するために、他のビデオトラックまたはタイルトラックからＮＡＬ部を抽出する命令を提供する抽出器ＮＡＬ部を有するトラックであってもよい。合成トラックは例えば、他のトラックへのトラック基準を介して、合成の指示を暗黙的に提供するトラックであってもよい。
【００６８】
図２ａは、本発明の一実施形態による、画像（フル画像と示される）のいくつかのサブ空間部分への分割が時間とともに変化し得る第１のシナリオを示す。例えば、画像２１０、２２０、２３０及び２４０は、異なる時間的瞬間における同じフル画像を表す。例えば、時間ｔ=Ｎ、画像２１０から時間ｔ=Ｎ+Ｍ、画像２２０まで、パーティション格子は４つのサブピクチャ２２１、２２２、２２３、２２４の間で等しく分割され、全てのサブピクチャは同じ高さ及び幅サイズを有する。次に、時間ｔ=Ｎ+Ｍ＋１から、画像２３０から時間ｔ=Ｎ+Ｍ+Ｚまで、画像２４０、各サブピクチャ２２１、２２２、２２３、および２２４のパーティショングリッドおよびサイズが変更されて、それぞれ２３１、２３２、２３３、および２３４の新しいサブピクチャが得られるが、合成ピクチャのサイズ（composition_heightおよびcomposition_widthによって示される）は同じままである。このシナリオでは、合成ピクチャはフル画像である。時間にわたる各対応するサブピクチャ（例えば、２２１および２３１）は空間特性（例えば、空間座標:左上隅（x, y）の水平位置および垂直位置、幅および高さ）が、ある時間的瞬間で変化し得るサブピクチャトラックを形成する。
【００６９】
図２ｂは、異なる時間的瞬間２５０、２６０、２７０、２８０にわたって示される画像（フル画像）のパーティショングリッド（格子）が時間とともに変化しない第２のシナリオを示す。しかしながら、反対に、Ｇ１で示されるサブピクチャの所与のグループを構成するサブピクチャのリストは、時間と共に変化する。例えば、時間ｔ=Ｎ、画像２５０から時間ｔ=Ｎ+Ｍ、画像２６０まで、サブピクチャＧ１ ２５１、２６１、２７１、２８１のグループは、第１および第２の列と第２および第３の行との交点におけるサブピクチャから構成される。次に、時間ｔ=Ｎ+Ｍ＋１、画像２７０から時間ｔ=Ｎ+Ｍ+Ｚ、画像２８０まで、グループを構成するサブピクチャのリストは、第２および第３の列と第３および第４の行との交点におけるサブピクチャになる。この図２ｂにおいて、composition_ heightおよびcomposition_widthは、フル画像内のサブピクチャ合成を表す合成ピクチャＧ１のサイズを示す。各対応するサブピクチャは、時間とともに（例えば、第２の列及び第３の行２６２及び２７２において）、空間特性（左上隅（x, y）の水平及び垂直位置、幅及び高さ）がフル画像の範囲内で時間とともに変化しないが、サブピクチャＧ１のグループの範囲内で変化するサブピクチャトラックを形成する。同様に、このシナリオではサブピクチャＧ１のグループの空間特性（ｘ、ｙ、幅及び高さ）は全画像２５０、２６０、２７０、２８０の範囲内で変化してもよい。
【００７０】
サブピクチャおよび合成ピクチャのそれぞれのサイズは例えば、ルマ（luma）（輝度）ピクセルまたは正規化された座標で表現され得る。
【００７１】
第３のシナリオでは、パーティショングリッドとサブピクチャのグループを構成するサブピクチャのリストの両方が時間とともに同時に変化することもある。
【００７２】
本発明は、前述のシナリオのうちの１つまたは複数に対処するように考案された。
【００７３】
ＩＳＯ/ＩＥＣ １４４９６−１２は、トラックのグループを記述するためにトラックレベル（すなわち、ＩＳＯＢＭＦＦボックス階層における‘trak’ボックス内）に位置するボックス‘trgr’を提供し、各グループは特定の特性を共有するか、またはグループ内のトラックは特定の関係を有する。このトラックグループボックスは、以下のように定義される空のコンテナである:
2020537376.tif 000003
2020537376.tif 000004
【００７４】
このトラックグループタイプボックスのインスタンスによって宣言される特定の特性または関係は、ボックスタイプ（track_group_type）によって示される。このボックスは、同じトラックグループに属するトラックを決定するために使用することができる識別子（track_group_id）も含む。同じtrack_group_typeおよびtrack_group_idの値を持つトラックグループタイプボックスを持つすべてのトラックは、同じトラックグループの一部である。ボックスはまた、特定のトラックグループタイプに対するトラックに関連する特定のパラメータの宣言を可能にする。例えば、ＭＰＥＧ  ＯＭＡＦ規格（ＩＳＯ/ＩＥＣ ２３０９０−２）は、空間合成のための特定のトラックグループを、以下に定義されるようなタイプ'spco'のTrackGroupTypeBox（トラックグループタイプボックス）として定義する。
2020537376.tif 000005
ここで、track_x、track_yは空間合成内のトラックの座標であり、track_widthおよびtrack_heightは空間合成内のトラックのルマピクセルのサイズを定義し、composition_widthおよびcomposition_heightは、空間合成全体のルマピクセルのサイズを示す。
【００７５】
‘spco'トラックグループにおける各トラックのサンプルはより大きな画像を生成するために、この同じグループ内の他のトラックからのサンプルで（同じ合成または復号化時間で）空間的に合成（構成）することができる。
【００７６】
トラックグループ化の別の例は、立体メディアコンテンツを構成するトラックのペアのシグナリングであり、例えば、以下に定義されるようなタイプ‘ster’のTrackGroupTypeBoxである。
2020537376.tif 000006
ここで、left_view_flagは、どのトラックが左（値１）ビューまたは右（値０）ビューであるかをシグナリングする。
【００７７】
上述のようにトラックのグループを記述することには、いくつかの欠点がある:
-  プレーヤはどの既存のトラックグループがどのトラックグループであり、どのトラックがどのトラックグループに属するかを知ることができる前に、プレゼンテーションにおけるすべてのトラックに関連付けられたすべてのトラックグループボックスを解析しなければならない。これは、プレーヤが所与のグループに属するトラックのみをプレイしたい場合には最も効率的なプロセスではない。
-  同じグループに属するすべてのトラックに共通のパラメータまたはプロパティは、グループを構成するすべてのトラックの対応するトラックグループタイプボックスで繰り返されなければならない。これは、無駄なデータ冗長性を作り出す。
-  トラックグループボックスは、メディアまたはプレゼンテーションファイルの最上位レベルに位置するムービーボックス（４文字コード‘moov’を有する）内のトラックレベルで定義されるので、この情報はプレゼンテーション全体に対して静的であり、所与のグループ内の所与のトラックに関連するパラメータまたはプロパティ（例えば、‘spco’トラックグループにおけるtrack_x、track_y、track_width、およびtrack_width）は、経時的に変化することができない。
【００７８】
第１の実施形態によれば、トラックの既存のグループのリストは、メディアまたはプレゼンテーションファイルのより高いレベルの１つの単一のロケーションにおいて宣言され、トラックのグループを構成するすべてのトラックに共通のグループパラメータまたはプロパティはすべてのトラックにおいてそれらを繰り返す代わりに、この同じ単一のロケーションにおいて宣言される。 
【００７９】
この実施形態は、ＩＳＯ/ＩＥＣ １４４９６−１２:２０１５ Ａｍｄ２に定義されているエンティティグループ機構に依拠することができる。ファイルレベルメタボックス（‘meta’）にある空のコンテナボックス(Groups List box（‘grpl’））は、以下に定義されるEntityToGroupBoxと呼ばれるグループ記述ボックスのリストを含むことができる:
2020537376.tif 000007
ここで、box type（ボックスタイプ）（grouping_type）は、エンティティグループ（またはコンポーネントグループ）のグループ化タイプを示す。エンティティは、前述のコンポーネントと同等である。
【００８０】
代替処理として、この空のコンテナボックス（Groups List box（‘grpl’））は、ファイルレベルのムービーボックス（‘moov’）または、ムービーボックスが存在しない場合ファイルレベルのメタボックス（‘meta’）に定義することができる。
【００８１】
TrackGroupTypeBoxにおけるtrack_group_typeと同様に、各grouping_typeコードは、グループ化を記述するセマンティクスに関連付けられる。
【００８２】
group_idはプレゼンテーション全体の範囲内で一意の識別子であり、他のEntityToGroupBoxのgroup_id値、GroupsListBoxを含む階層レベル（ファイル、ムービー、またはトラック）の任意のitem_ID値、または任意のtrack_ID値（GroupsListBoxがファイルレベルに含まれる場合）に等しくないものとする。
【００８３】
num_entities_in_groupは、このエンティティグループにマッピングされるコンポーネント識別子値（すなわち、item_ID、track_ID、コンポーネント識別子のグループ（例えば、group_id、track_group_id））の数を指定する。
【００８４】
entity_idは、
-  entity_idに等しいitem_IDを有するアイテムが、GroupsListBox含む階層レベル（ファイル、ムービーまたはトラック）に存在する場合、アイテムに対応し、 
-  entity_idに等しいtrack_IDを有するトラックが存在し、GroupsListBoxがファイルレベルに含まれる場合、トラックに対応し、 
-  同じgrouping_typeおよびgroup_idがentity_idに等しいEntityToGroupBox、または、track_group_typeがgrouping_typeに等しくtrack_group_idがentity_idに等しいTrackGroupTypeBoxが存在し、GroupsListBoxがファイルレベルに含まれる場合、コンポーネントのグループに対応する。
【００８５】
したがって、EntityToGroupBox@grouping_typeがTrackGroupTypeBox@track_group_typeに等しく、EntityToGroupBox@group_idがTrackGroupTypeBox@track_group_idに等しい場合、タイプ‘spco’の特有の空間合成グループは、EntityToGroupBoxをTrackGroupTypeBoxesに関連付けることによって、２つの異なったレベルで定義される。
【００８６】
第１に、ムービーレベルにおいて、タイプ‘spco’（SubPictureCompositionGroupBoxと呼ばれる）の専用EntityToGroupBox が、以下のようにGroupListBoxにおいて定義される:
2020537376.tif 000008
【００８７】
次いで、この空間合成グループを合成（構成）するトラックのリストが、EntityToGroupBoxのentity_idのリストを使用して提供される。このグループ内のすべてのトラックに共通のプロパティは、SubPictureCompositionGroupBoxにおいて新しいSubPictureCompositionRegionBoxを定義することによって相互化され、一度定義される。
【００８８】
composition_widthおよびcomposition_heightは、ルマピクセル単位の合成のサイズを提供する。
【００８９】
第２に、トラックレベルで、タイプ'spco'（SubPictureCompositionBoxと呼ばれる）のTrackGroupTypeBoxを有するトラックグループが以下に定義されるように、同じ空間グループを構成するすべてのトラックにおいて定義される。 
2020537376.tif 000009
【００９０】
第３に、ムービーレベルおよびトラックレベルにおけるグループ定義は、同じグループ識別子を定義することによって関連付けられる（すなわち、同じグループは、EntityToGroupBoxの場合はその対grouping_type/group_idによって、TrackGroupTypeBoxの場合はtrack_group_type/track_group_idによって定義される）。例えば、空間合成グループについて、パラメータSubPictureCompositionBox@track_group_idがSubPictureCompositionGroupBox@group_idに等しく、SubPictureCompositionBox@track_group_typeがSubPictureCompositionGroupBox@grouping_typeに等しい場合、両方の構造は同じグループに属する。
【００９１】
前の例の代替処理として、ムービーレベルの既存のボックス（例えば、EntityToGroupBox）をトラックレベルの既存のボックス（例えば、TrackGroupTypeBox）と組み合わせるのではなく、１つの単一の場所にコンポーネントのグループに関連するすべての情報を含む新しいEntityToGroupBoxボックス（例えば、ComponentToGroupBox）を定義することも可能である。コンポーネントのグループのセットは、高レベルボックス（例えば、ファイルレベル、ムービーレベルまたはムービーフラグメントレベルのいずれかにおける‘moov’、‘moof’、または‘meta’、または‘udta’）に配置された空のコンテナボックス（例えば、Groups List box (‘grpl’)）に含まれる。ComponentToGroupBoxは、コンポーネントのグループを構成するコンポーネント（アイテム、トラック、コンポーネントのグループ）のリストと、グループのすべてのメンバによって共有されるグループに関連付けられたプロパティと、各メンバについて、コンポーネントのグループ内のこのメンバに固有のプロパティとを含む。ComponentToGroupBoxは、以下のようにクラスGroupOfComponentsとして定義することができる:
2020537376.tif 000010
ここで、groupOfComponent_typeはコンポーネントのグループを特徴付けるタイプであり、group_idは、プレゼンテーションの範囲内のグループの一意の識別子であり、num_component_in_setsはグループ内のコンポーネントの数（例えば、グループ内のトラックの数）であり、referenceToComponent()はグループに属するコンポーネントを識別する情報（例えば、コンポーネントの一意の識別子）であり、optionalComponentProperties()はグループ内のコンポーネントの任意のプロパティであり、optionalGroupOfComponentProperties()はグループのすべてのコンポーネントによって共有される任意のプロパティである。
【００９２】
ComponentToGroupBoxは、ＩＳＯＢＭＦＦ構文（シンタックス）に従って次のように定義することもできる。
2020537376.tif 000011
2020537376.tif 000012
ここで、box type (grouping_type)は、コンポーネントのグループのグループ化のタイプを示す。
【００９３】
group_idおよびcomponent_idは、それぞれ、プレゼンテーション全体の範囲内のグループおよびグループに属するコンポーネントの一意の識別子である。group_idは、他のComponentToGroupBoxのgroup_id値、GroupsListBoxを含む階層レベル（ファイル、ムービー、またはトラック）のitem_ID値、またはtrack_ID値（GroupsListBoxがファイルレベルに含まれる場合）と等しくないものとする。
【００９４】
component_idは、
-  component_idに等しいitem_IDを持つアイテムがGroupsListBoxを含む階層レベル（ファイル、ムービーまたはトラック）に存在する場合、アイテムに対応し、 
-  component_idに等しいtrack_IDを持つトラックが存在し、GroupsListBoxがファイルレベルに含まれる場合、トラックに対応し、 
-  同じgrouping_typeおよびcomponent_idに等しいgroup_idを持つComponentToGroupBoxが存在し、GroupsListBoxがファイルレベルに含まれる場合、コンポーネントのグループに対応する。
【００９５】
ComponentInComponentToGroupBoxは、タイプgrouping_typeのグループについて、所与のコンポーネント（component_idによって識別される）に関連する任意の特定のパラメータを定義することを可能にする。これらの特定のパラメータの値は、identifier group_idおよびtype grouping_typeを持つ埋め込みグループのスコープに適用される。
【００９６】
同様に、ComponentToGroupBoxは、このグループに属するすべてのコンポーネントによって共有されるタイプgrouping_typeのグループに関連するオプションのパラメータを定義することを可能にする。
【００９７】
例えば、立体視映像ペア（stereoscopic video pair）を宣言するグループは、以下のように記述することができる:
2020537376.tif 000013
ここで、プロパティcomponent_is_leftは、タイプ‘ster’のコンポーネントのグループに属する各コンポーネントに関連付けられ、コンポーネントが左ビューまたは右ビューであるかどうかをシグナリングする。
【００９８】
別の代替では、ComponentToGroupBoxは、以下のようにＩＳＯＢＭＦＦ構文に従って定義することができる：
2020537376.tif 000014
2020537376.tif 000015
ここで、
group_id は、プレゼンテーション全体のスコープ内のタイプgrouping_typeのグループの一意の識別子である。
property_containerには、タイプgrouping_typeのグループに関連付けられた共通プロパティー定義およびコンポーネント固有プロパティー定義のすべてのインスタンスが含まれる。このPropertyContainerBoxは、プロパティの暗黙的に索引付けされたリストを含む。
num_components_in_groupは、コンポーネントのこのグループに属するコンポーネントの数である。
component_idは、プレゼンテーション全体の範囲内のグループに属するコンポーネントの一意の識別子である。
association_countは、グループにおける所与のコンポーネント（component_id）に関連付けられたプロパティの数である。
essential １に設定されることは、関連するプロパティがコンポーネントまたはグループに必須であることを示し、それ以外の場合、それは必須ではない。
property_indexは、プロパティが関連付けられていない（必須インジケータも０である）ことを示す０か、または同じComponentToGroupBoxに含まれるPropertyContainerBoxにおける関連付けられたプロパティボックスの１ベースのインデックスである。
num_common_properties_in_groupは、グループに関連付けられた共通または共有プロパティの数である。
common_property_indexは、プロパティが関連付けられていない（必須インジケータも０である）ことを示す０か、または同じComponentToGroupBoxに含まれるPropertyContainerBoxにおける関連付けられたプロパティボックスの１ベースのインデックスである。
【００９９】
ComponentToGroupBoxのこの代替によれば、PropertyContainerBoxおよび埋め込みプロパティは、以下のように定義される。
2020537376.tif 000016
ここで、Propertyボックスは、ComponentPropertyまたはComponentFullPropertyから派生して、ボックスを埋める。
【０１００】
EntityToGroupBoxとTrackGroupTypeBoxを組み合わせる規則を定義するか、またはグループ定義、共通グループプロパティ、およびコンポーネントプロパティを含む新しいグループ化ボックスComponentToGroupBoxを定義することによって、上述のように所与のグループ内で、すべてのトラックを解析する必要なしに、すべての既存のグループのリストをムービーレベルで宣言し、冗長性なしに単一の位置でトラックのグループ内で共通プロパティを相互化することが可能である。
【０１０１】
第２の実施形態によれば、エンティティグループ機構およびトラックグループ機構は前の実施形態で説明したように組み合わされ、さらに、サンプルグループ化機構が使用されて、トラックのグループ内のトラックに関連するプロパティが時間とともに変化することを可能にする。
【０１０２】
サンプルグループ化機構は、示されたグループ化タイプに対応する特定のプロパティがトラック内のサンプルのグループに関連付けられることを可能にする。
【０１０３】
この機構は、２つのボックスの使用に依存する。 
-  サンプルグループへのサンプルの割り当てを記述するSampleToGroup box (‘sbgp’)と、
-  特定のサンプルグループ内のサンプルの共通のプロパティを記述するSampleGroupDescription box (‘sgpd’)である。SampleGroupDescription box (‘sgpd’)は、SampleGroupEntry（ビデオコンテンツのためのVisualSampleGroupEntry）のリストを含み、SampleGroupEntryの各インスタンスは、特定のサンプルグループ（その‘grouping_type’によって識別される）のために定義される共通プロパティのための異なる値を提供する。
【０１０４】
特定のタイプのサンプルグループ化は、タイプフィールド（‘grouping_type’）を介して、１つのSampleToGroupと１つのSampleGroupDescriptionボックスとの組み合わせによって定義される。
【０１０５】
複数のサンプルグループ化インスタンス（すなわち、SampleToGroupおよびSampleGroupDescriptionボックスのペア）が、異なるグループ化基準に基づいて存在し得る。
SampleToGroupボックスは、以下のように定義される。
2020537376.tif 000017
2020537376.tif 000018
ここで、grouping_typeは、サンプルグループのタイプ（すなわち、サンプルグループを形成するために使用される基準）を識別し、それを、グループ化タイプについて同じ値を有するそのサンプルグループ記述テーブルにリンクする。
sample_countは、このグループ内のサンプルグループエントリに関連する連続するサンプルの数を示す。 
group_description_indexは、このグループ内のサンプルを記述するサンプルグループエントリのインデックスを与える。
【０１０６】
場合によっては、サンプルグループの連続するサンプルは、いくつかの繰り返しパターン、たとえばイントラフレームＩの後にN個のイントラフレームPが繰り返し続く、たとえばIPPPIPPPのようになることがある。
【０１０７】
そのような場合、サンプルカウントとしてリストされるパターン、およびパターン繰り返しに基づいて、よりコンパクトなSampleToGroupボックスを使用することが望ましい場合がある。
【０１０８】
したがって、よりコンパクトなSampleToGroupボックスの代替は、以下のように定義される：
2020537376.tif 000019
2020537376.tif 000020
ここで、 
grouping_typeは、サンプルグループのタイプ（すなわち、サンプルグループを形成するために使用される基準）を識別し、grouping_typeと同じ値を有するサンプルグループ記述テーブルにリンクする整数である。grouping_type (および、使用される場合にはgrouping_type_parameter） に対して同じ値を持つこのボックスの最大１ つのオカレンス（出現）が、トラックに存在するものとする。
grouping_type_parameterは、グループ化のサブタイプを示す。このパラメータはオプションであり、flags & １ = １の場合にのみ存在する。
field_sizeは、sample_group_description_indexフィールドを符号化するために使用されるビット数を示す整数値である。値０はインデックスが7ビットでコーディングされることを意味し、値１はインデックスが１５ビットでコーディングされることを意味し、値２はインデックスが２３ビットでコーディングされることを意味し、値３はインデックスが３１ビットでコーディングされることを意味する。
repeat_count_sizeは、repeat_countフィールドを符号化するために使用されるビット数を示す整数値である。値０は繰り返しカウントがコーディングされていない（０ビット、パターンは繰り返されない）ことを意味し、値１は繰り返しカウントが８ビットでコーディングされることを意味し、値２は繰り返しカウントが２４ビットでコーディングされることを意味し、値３は繰り返しカウントが３２ビットコーディングされることを意味する。
last_pattern_is_last_onlyは１に設定されたときに、パターンのリスト内の最後のパターンがtrack/trafにおける最後のＫ個のサンプルにのみ適用されることを示すビットフラグである（Ｋは、最後のパターン内で識別されたサンプルの数である）。これは、サンプルグループ化の終わりを別様に管理することを可能にする。それは、サンプルの最後のランが繰り返されるサンプルの一部ではないＡ、Ｂ、Ｃ、Ａ、Ｂ、Ｃ、Ａ、Ｄのようなパターンに対処する方法を提供する。last_pattern_is_last_onlyが設定されると、最後に定義されたパターンがtrack/trafの最後のサンプルをマッピングするために使用され、残りのパターン（nb_patterns − 1）は、残りのサンプルにわたるrepeat_countの値に等しい回数だけ繰り返される（０にマッピングされたサンプルを超えるか、またはその間に残っている場合、潜在的に切り捨てられる）。
repeat_countはリストされたパターンが何回繰り返されるべきかを示し、０の値は、多くとも１つのパターンの完了出現があることを示す。last_pattern_is_last_onlyが０に設定されている場合、パターンのリストはtrack/trafにおける最後のサンプルまでrepeat_countを繰り返され、繰り返されたパターンによってカバーされるサンプルより少ないサンプルがある場合、パターン繰り返しは最後のサンプルまでのみ有効であり、それ以外の場合、残りのサンプルはデフォルトのサンプルグループ記述インデックスに関連付けられるか、またはそのようなgrouping_type/grouping_type_parameterの任意のグループにマッピングされない。last_pattern_is_last_onlyが１に設定されている場合、そのリストにおける最後のエントリを除くパターンのリストはリスト内の最後のパターンによってマッピングされるtrack/trafにおける最初のサンプルまでrepeat_countを繰り返され、繰り返されるパターンによってカバーされるサンプルより少ないサンプルがある場合、パターン繰り返しはリストにおける最後のパターンによってマッピングされる最初のサンプルまでのみ有効であり、それ以外の場合、残りのサンプルはデフォルトのサンプルグループ記述インデックスに関連付けられるか、またはそのようなgrouping_type/grouping_type_parameterの任意のグループにマッピングされない。 
sample_count_minus_oneは、このパターンに存在するサンプルの数から１を引いたものを示す。
is_traf_sgpdは、与えられたサンプルグループ記述インデックスが１（または０）に設定されたときにtraf(またはサンプルテーブル）内に存在するSampleGroupDescriptionBoxにおけるインデックスであることを示す。
sample_group_description_indexは、このグループ内のサンプルを記述するサンプルグループエントリのインデックスを与える整数である。インデックスは１からSampleGroupDescriptionBoxにおけるサンプルグループエントリの数までの範囲にわたり、または値０をとって、このサンプルがこのタイプのグループのメンバではないことを示す。
【０１０９】
代替として、パラメータis_traf_sgpdが除去され、以下の規則がsample_group_description_index値に適用される。ムービーフラグメントにおけるCompactSampleToGroupBox内で、同じフラグメント内で定義されたグループのグループ記述インデックス（sample_group_description_index）は０ｘ１０００１で始まり、すなわち、インデックス値１であり、値１が上位１６ビットにある。それ以外の場合、０ｘ１０００１未満の値の場合、グループ記述インデックスは、MovieBoxにおけるサンプルテーブルに存在するSampleGroupDescriptionBoxにおけるインデックスを参照する。これは、MovieBoxにおけるサンプルテーブルにおいて、このトラックおよびグルーピングタイプのための６５５３６より少ないグループ定義がなければならないことを意味する。
【０１１０】
示されたパターンはサンプルにマッピングするときに、repeat_countに等しい回数だけ繰り返される（０はパターンが１回だけ生じることを意味する）。繰り返しパターンがtrack/trafにおけるサンプル数を超える場合、それは切り捨てられる。それよりも小さい場合、残りのサンプルは、デフォルトのグループインデックスにマッピングされるか、またはマッピングされない。
【０１１１】
このCompactSampleToGroupBoxの定義は現在、デフォルトのサンプルグループ化機構をサポート／保存している、すなわち、所与のgrouping_typeのどのサンプルグループ記述エントリにもマッピングされないサンプルは、このgrouping_typeのSampleGroupDescriptionBoxで定義されたindex default_sample_description_indexによって提供されるサンプルグループ記述エントリにマッピングされる。
【０１１２】
この新しいCompactSampleToGroupBoxは例えば、ＩＳＯ/ＩＥＣ １４４９６−１２で定義された汎用時間レベルサンプルグループ（'tele'）またはＩＳＯ/ＩＥＣ １４４９６−１５で定義されたＨＥＶＣ時間レイヤサンプルグループ（‘tscl’）を用いて、時間サブレイヤにおけるパターンをシグナリングするために有利に使用することができる。
【０１１３】
例えば、時間レベルサンプルグループ化（‘tele’）は、所与の汎用時間レベル識別子（この場合、サンプルグループ記述インデックスを使用し、インデックス値の順序は重要度レベルを提供する）を、レベルが独立して復号可能であるか否かにかかわらず、フラグ‘level_independently_decodable’シグナリングと関連付けることを可能にする。したがって、クライアントは、その関連付けられたレベルおよびフラグに応じて、どのサンプルのセットをドロップすることができるかを知ることができる。
【０１１４】
必要であれば、ＨＥＶＣ時間層サンプルグループ化（‘tscl’）は、各サンプルに所与の時間層（Temporal layerId）を割り当て、したがって、所与の時間層識別子に関連するプロパティに応じてサンプルをドロップすることができるかどうかを判定することによって、ＨＥＶＣ符号化のコンテキストにおいてさらに正確な情報を提供する。
【０１１５】
第２の実施形態によれば、時間とともに変化するグループ内のトラックのプロパティは、関連するグループのgrouping_type（EntityToGroupBox@grouping_typeおよび／またはTrackGroupTypeBox@grouping_type）に等しいgrouping_typeを有するSampleGroupDescription box (‘sgpd’)におけるサンプルグループエントリとして定義される。さらに、対応するSampleToGroupボックスは同じgrouping_typeを有し、grouping_type_parameterはサンプルグループを所与のトラックグループに関連付けるために、グループ識別子（EntityToGroupBox@group_idおよび／またはTrackGroupTypeBox@track_group_id）に等しい。
【０１１６】
トラック内で、同じパラメータがそれぞれgrouping_type_parameterに等しいgrouping_typeおよびa track_group_idを有するTrackGroupTypeBoxおよびVisualSampleGroupEntryの両方で定義される場合、VisualSampleGroupEntryのパラメータ値は、TrackGroupTypeBoxのパラメータ値に取って代わる。
【０１１７】
例えば、図２ａのシナリオに対処するために、‘spco’に等しいgrouping_typeを有する新しいサンプルグループエントリSubPictureRegionEntryは、以下のように定義される。
2020537376.tif 000021
このSubPictureRegionEntryは、EntityToGroupBox@group_id、 TrackGroupTypeBox@track_group_idおよびSampleToGroup@grouping_type_parameterが等しいSubPictureCompositionGroupBoxおよび/またはSubPictureCompositionBoxによって記述される空間合成群内のトラックによって搬送される１つまたは複数のサブピクチャの経時的に変化し得る座標（track_x, track_y）およびサイズ（track_width, track_height）を提供する。
【０１１８】
代替として、上述のサンプルグループ化機構はコンポーネントのグループ内のコンポーネントに関連する時間パラメータに沿って変化するように、ComponentToGroupBoxと組み合わせることもできる。同様に、トラック内で、SampleToGroupボックスは同じgrouping_typeを有し、grouping_type_parameterは、サンプルグループをコンポーネントの所与のグループに関連付けるために、グループ識別子（ComponentToGroupBox@group_id）に等しい。ComponentInComponentToGroupBoxおよびVisualSampleGroupEntryの両方において、所与のトラックにおいて同じgrouping_typeを有する同じパラメータが定義され、このグループComponentInComponentToGroupBox@component_id内のコンポーネント識別子がトラック識別子track_IDに等しく、ComponentInComponentToGroupBoxがgrouping_type_parameterに等しいgroup_idを有するグループに属する場合、VisualSampleGroupEntryのパラメータ値は、ComponentInComponentToGroupBoxのパラメータ値に取って代わる。
【０１１９】
上述のように、EntityToGroupBox、TrackGroupTypeBox、およびサンプルグループ化機構を組み合わせるための規則を定義することによって、特定のトラックグループ内のトラックに関連するいくつかのプロパティを経時的に変化させることが可能である。
【０１２０】
図１４は、以下のようにグルーピングタイプ‘srd’を定義することによって、トラックグルーピング１４００とサンプルグルーピング１４０１および１４０２のみを使用して複数のトラック間の空間的関係を記述することも可能な別の代替例を示す。
‘srd ' track_grouping_typeは、このトラックがビデオの空間部分に対応するトラックのグループに属することを示す。track_group_type 'srd 'のTrackGroupTypeBox内のtrack_group_idの同じ値を有するトラックは、同じソースから発信されたものとしてマッピングされる。例えば、非常に高解像度のビデオは、複雑さの理由でサブピクチャトラックに分割されている可能性がある。次に、各サブピクチャトラックは、ソースビデオにおけるその位置及びサイズを伝達する。‘srd ‘トラックグループは、ソースビデオのサイズを伝えることができる。
【０１２１】
SpatialRelationshipDescriptionBox (またはSpatialRelationshipTrackGroupBox １４０３、名前はここでは例として）は、以下のように定義される。
2020537376.tif 000022
ここで、
total_widthは、ルマサンプル単位で、このトラックグループビデオソースによって記述される領域のピクセル単位の幅を指定する。存在する場合、total_widthの値はSpatialRelationshipDescriptionBoxのすべてのインスタンスにおいて同じであり、track_group_idの値は同じであり、sub_group_idの値は同じである。
total_heightは、ルマサンプル単位で、ビデオソースの高さを指定する。total_heightの値はSpatialRelationshipDescriptionBoxのすべてのインスタンスにおいて同じであり、track_group_idの値は同じであり、sub_group_idの値は同じである。
【０１２２】
さらに、サンプルグループ化のための‘srd ‘ grouping_typeが、サブピクチャトラックの位置およびサイズを空間関係で宣言するために定義される。SpatialRelationshipDescriptionBoxのバージョン１が使用されているとき、SampleToGroupBoxのバージョン１は、対応する'srd ' sub_group_idを識別するgrouping_type_parameter値と共に使用される。SpatialRelationshipDescriptionBoxのバージョン０が使用されているとき、SampleToGroupBoxのバージョン０を使用することができるか、またはgrouping_type_parameterが０に設定されたバージョン１を使用することができる。
【０１２３】
特定のVisualSampleGroupEntryが定義される。SpatialRelationshipGroupEntry（ ‘srd’）は次のようになり、図１４では１４００として示される。
2020537376.tif 000023
ここで、object_x、 object_y、 object_width、 object_heightは、total_widthおよびtotal_heightによって定義される基準（リファレンス）内のトラックの移動座標を示す。
【０１２４】
‘srd ‘ track groupまたはsub-groupは、それぞれ、完全なビデオソースまたは部分的なビデオソースの再構成を可能にする。再構成は次のように行われる:
1)  バージョン０に対する‘srd ‘トラックグループまたはバージョン１に対するサブグループに属するすべてのトラックのうち、１つのトラックが各代替グループから選択される。
2)  選んだトラックの各々に対して、以下の規則が適用される: 
a.  ０からobject_width − 1の範囲内のｉの各値について、および０からobject_height − 1の範囲内のｊの各値について、ルマサンプル位置((i + track_x)% total_width、(j + track_y)% total_height)における合成ピクチャのルマサンプルは、ルマサンプル位置(i, j)におけるこのトラックのサブピクチャのルマサンプルに等しく設定される。
b.  クロマ成分は、使用されるクロマサブサンプリングに従って、同じ方法で導出される。
【０１２５】
同じspatail_set_idを有し、異なる代替グループに属する（すなわち、０と等しいalternate_groupの値または異なるalternate_groupの値を有する）同じ‘ srd ‘トラックグループに属するすべてのトラックのサブピクチャ矩形は重ならず、ギャップを有してはならず、ビデオソースのための上記の導出プロセスにおいて、ｘが０からtotal_width − 1の範囲内にあり、ｙが０からtotal_height − 1の範囲内にある各ルマサンプル位置（ｘ、ｙ）が正確に１回横断されるように、ギャップを有してはならない。
【０１２６】
別の代替例では、SpatialRelationshipDescriptionBoxがビデオトラック間の空間的関係を表現するために、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）プロトコル（ＩＳＯ/ＩＥＣ ２３００９−１ ３rd edition）で定義されているように、Spatial Relationship Descriptor‘SRD’の定義に一致するように定義される。
【０１２７】
提案された解決策は以下の表に提供されるように、ＩＳＯＢＭＦＦおよびＤＡＳＨ ＳＲＤレベルにおける空間関係記述間の直接マッピングを提供する:
2020537376.tif 000024
【０１２８】
‘srd ‘ track_grouping_typeを有するTrackGroupTypeBoxは、トラックがビデオの空間部分に対応するトラックのグループに属することを示す。track_group_type 'srd 'のTrackGroupTypeBox内のsource_idの同じ値を有するトラックは、同じソースから発信されたものとしてマッピングされる。例えば、非常に高解像度のビデオは、複雑さの理由でサブピクチャトラックに分割されている可能性がある。次に、各サブピクチャトラックは、ソースビデオにおけるその位置及びサイズを伝達する。‘srd ‘トラックグループは、ソースビデオのサイズを伝えることができる。
SpatialRelationshipDescriptionBoxは、以下のように定義される。
2020537376.tif 000025
ここで、
total_widthは、ルマサンプル単位で、このトラックグループによって記述される領域のピクセル単位の幅を指定する。存在する場合、total_widthの値はSpatialRelationshipDescriptionBoxのすべてのインスタンスにおいて同じであり、track_group_id(またはsource_id）の値は同じであり、spatial_set_idの値は同じである。
total_heightは、ルマサンプル単位で、ビデオソースの高さを指定する。total_heightの値はSpatialRelationshipDescriptionBoxのすべてのインスタンスにおいて同じであり、track_group_id(またはsource_id）の値は同じであり、spatial_set_idの値は同じである。
source_idパラメータは、コンテンツのソースのための一意の識別子を提供する。それは、このソースに関連する座標系を暗黙的に定義する。同じsource_idの値を共有するすべてのトラックは、同じ原点および軸方向を有する。
spatial_set_idは、同じsource_idを持つ同じ'srd ' グループの一部であるトラックのサブセットの一意のＩＤ を指定する。この識別子の範囲は、ファイルに対してグローバルである。値０は予約されている。
【０１２９】
前の代替と同様に、サンプルグループ化のための‘srd ‘ grouping_typeが、サブピクチャトラックに対して定義されて、それらの位置およびサイズを空間関係で宣言する。grouping_typeが'srd 'であり、grouping_type_parameterの値が対応する'srd ' track_group_idを識別する場合、SampleToGroupBoxのバージョン１が使用される。
【０１３０】
図４は、本発明による‘srd ‘トラックグループの使用例を示す。
【０１３１】
単一のビデオ４００を記述するメディアファイルが考慮される。ソースビデオと呼ばれるこの単一のビデオ４００は、２組のサブピクチャトラック４０１および４０２に分割され、符号化される。第１のセット４０１はソースビデオを４つのサブピクチャトラック（ＩＤ=１〜４のトラック）に分割したものであり、第２のセット４０２は、同じソースビデオを１６のサブピクチャトラック（ＩＤ=１１〜２６のトラック）に分割したものである。２つの空間関係トラックグループ４０３および４０４はこれらの空間関係を記述し、分割レベル当たり１つのトラックグループである。各トラックグループは、どのようにトラックをソースビデオ４０５または４０６にレンダリングすることができるかについての指示を提供する。各トラックは、“Track Group”ボックス４０３または４０４に存在する情報を含む‘trgr’ボックスを含む。各トラックは、SpatialRelationshipGroup Entry 'srd '(VisualSampleGroupEntryから継承する）において、ソースビデオ４００におけるその位置およびサイズ（ｘ、ｙ、ｗ、ｈ）をサンプルグループ化によって宣言する。‘srd ‘トラックグループは、空間的に関連するトラックの編成を記述する。それは、合成指示を提供しない。図４から、トラックグループパラメータの大部分（４０３または４０４）が各トラックグループ（パラメータの２/３）に複製されていることが分かる。ただし、各トラックグループは、そのtrack_group_idを介して一義的に参照することができる。図４に示す例の代替実施形態を図５に示す。
【０１３２】
この例ではmoovレベルでトラックグループ記述と共に使用するために、２つの初期トラックグループ４０３および４０４はよりコンパクトな形式５００（５/１２コンパクション）で記述することができる。トラックグループ５００は単一のソースビデオ４００の空間分解を記述するので、track_group_idはsource_IDの値に設定される。この単一ソースビデオは、サブピクチャトラックの別個の設定に分割されるので、２つのspatial_set_idsがサブピクチャトラックのこれらの異なる設定を識別するために、この単一トラックグループにおいて定義される。
【０１３３】
図６は、トラックグループにおける空間的関係記述のための使用の別の例を示す。
【０１３４】
メディアファイルは、単一のビデオ６００の品質に関して２つの代替バージョンを記述する。各代替案は、４つのサブピクチャトラック６０２および６０３に分割される。（ＩＤ=１１〜１４を有する）サブピクチャトラックの第１のセットは低品質６０２で利用可能であり、例えば、Ｑｐ=３２を有するＨＥＶＣで符号化され、ＩＤ=２１〜２４を有するトラックである。サブピクチャトラック６０３の第２のセットはより高品質で利用可能であり、例えば、ＩＤ=２１〜２４のトラックではＱｐ=２０である。品質レベル毎に１つずつ、２つのトラックグループが定義される。これにより、図４に示した前の例（２/３オーバーヘッド）と同様のトラックグループが得られる。図５の例と同様の最適化を適用することができる。
【０１３５】
図７は、単一のビデオの異なる解像度レベル７００及び７０１で同じソースを記述するためのトラックグループにおける空間的関係記述のための使用の別の例を示す。
【０１３６】
各代替案は、４つのサブピクチャトラック７０３及び７０４に分割される。４Ｋ解像度レベル７００はＩＤ=１１〜１４を有する４つのトラックを含み、一方、第２の解像度レベル７０１は、例えばＨＤではＩＤ=２１〜２４ ７０４を有する４つのサブピクチャトラックを含む。各解像度レベルに対して、トラックグループは、空間関係記述パラメータを用いて宣言される（７０５及び７０６）。
【０１３７】
この例では、パラメータの１/３のみが複製される。各トラックグループは、track_group_idを使用して一意に識別することができる。トラックグループ記述は図８に示すように、２つのサブセットを有するグループリストボックス内の単一のトラックグループ８００を定義することによって、２５%よりコンパクトにすることができる。
【０１３８】
トラックグループは、コンテンツに関して同じビデオソースの空間分解を記述するので、track_group_idをsource_IDの値に設定することができる。
【０１３９】
これは、グループリストボックス（Groups List box）における単一トラックグループ定義につながる。この単一ソースビデオは、サブピクチャトラック７０５および７０６の別個のセットに分割されるので、２つのspatial_set_idsがサブピクチャトラックのセットを識別するために、この単一トラックグループ８００において定義される。前の例との差は、各空間設定が固有の識別子に加えて、それ自体のtotal_width及びtotal_heightを定義することである。
【０１４０】
図９は、異なる品質レベルで符号化された単一のビデオソースを記述するメディアファイル９００を示す。 
【０１４１】
最初に、ビデオは３×３のサブピクチャに分割される。中央サブピクチャは高品質で符号化され、周囲のサブピクチャはそれぞれ２つの品質レベルで符号化される。
【０１４２】
これは、中央部分を高品質（例えば、注目領域）に保ちながら、品質の適応を可能にする。これは１つのサブピクチャトラックを有するサブピクチャトラックの２つの空間設定をもたらし、１つはＩＤ=１５を有する注目領域のためのものであり、これら２つの空間設定の一部である。ＩＤ=１１〜１９のトラックは、高品質に符号化される。ＩＤ=２１〜２９のトラックは、低品質で符号化される。
【０１４３】
この場合も、２つのトラックグループを定義することができ、各トラックグループは、トラックグループ識別子、ソース識別子、および空間セット識別子にソースビデオのtotal_width及びtotal_heightを加えたものを提供する。ＩＤ=１５のトラックは、２つのトラックグループで共有されるトラックである。サンプルグループ化‘srd ’は、各トラックの位置およびサイズを提供するために使用されることが想起される。相互化されたトラック（ＩＤ=１５）は２つの‘srd ‘トラックグループボックス‘trgr’を含み、他のトラックはトラックグループボックス上に含まれる:ＩＤ=１１〜１４を有するトラック、および１６〜１９はＩＤ=１００を有する‘srd ‘トラックグループを含む。ＩＤ=２１〜２４および１６〜２９のトラックグループは、ＩＤ=２００の'srd 'トラックグループを含む。この記述９０１および９０２は、図１０に示すように、グループリストボックス内の単一のトラックグループ１０００に最適化することができる。
【０１４４】
図１１は、単一のビデオを記述するメディアファイル１１００を有する別の例を示す。このビデオは、２組のサブピクチャに分割される。
【０１４５】
２つのトラックグループ１１０１および１１０２は、分割レベル２分解レベルに対して定義される。トラックグループ１１０１はソースビデオ内のサブピクチャトラックの空間関係を提供するが、トラックグループ１１０２はサブピクチャトラックの同じセット（ＩＤ=１１１を有するトラックグループ）からのこのソースビデオ１１１０の部分再構成１１２０（例えば、ＩＤ ２６、２７、３０、および３１を有するトラック）の空間関係を記述する。このトラックグループは、新しいsource_id値のような新しい起点を導入する。spatial_set_idは、グループ１１０１と同じサブピクチャトラックのセットを提供することを示す。ここでは、サブピクチャトラックのサブセットのみが使用される。ＩＤ ２６、２７、３０、および３１を有するトラックは両方のグループの一部であり、それらは、異なるsource_id、すなわち参照において異なる位置およびサイズを定義しなければならない。この目的のために、位置及びサイズパラメータの各組み合わせは、（１１３０において）track_group_idに関連付けられなければならない。上の例では、track_group_idまたはthe source_idのいずれかになる。これは、SampleToGroupBox::grouping_type_parameterで行われる。grouping_type 'srd 'のSampleToGroupBoxはトラックグループと同数定義されており、SampleGroupDescriptionBoxには、grouping_type 'srd 'のエントリもトラックグループと同数定義されている。タイプ‘srd ‘の各SampleToGroupは対応する‘sgpd’のエントリにマッピングし、所与のSampleToGroupBoxでは、grouping_type_parameterが（x, y, w, h）とトラックグループとの間のマッピングを提供する。例えば、ＩＤ=２６のトラックはtrack_group_id=１１のグループ内にx, y, w, hパラメータを有し、一方、track_group_id=１１１のグループ内にx_prime, y_prime, w_prime, h_primeを有する。
【０１４６】
図１２は‘srd ‘トラックグループの例を示し、空間関係記述パラメータはルマサンプル単位の代わりに、正規化座標で表される。
【０１４７】
図４に示されるのと同じトラッグループグループが、source_id=２を有する新しいソースを完全にカバーする部分再構成を生成することを可能にするtrack_group_id=３００を有する第３のトラックグループ１２００と共にファイル内に提示される（１２０１および１２０２）。部分再構成のトラック位置は、ここでは正規化座標で表される。‘srd ’ボックスで表される‘w’及び ‘h’がobject_width及びobject_heightの画素で表されるものと同じではない。そのような場合、正規化された比率は、トラックヘッダに存在する‘w’の値とtrack_widthとの間、およびｈとtrack_heightとの間の（丸められた）比率である。これらの比率は等しいものとする。グループのルマサンプルにおけるtotal_width値またはtotal_height値は、それぞれ、トラックグループ１２００において宣言された正規化total_width値およびtotal_height値を比に乗算することによって導き出される図１２に示す例では、部分再構成１２０４はまた、（２つの異なる分割レベルからの）異なる空間形状を有するが（空間サンプリングに関して）同じ空間分解能を有するトラックを組み合わせる。
【０１４８】
図１３は、track_group_id=３００を有するトラックグループ１３００もまた、（図１２に示されるように）正規化された座標で表されることを示す。この例では、第３のトラックグループ１３００が他の２つのトラックグループと同じソースを使用する。
【０１４９】
これは、レンダリングがソースと同じ参照（同じ原点、同じ次元）で実行されることを示す。しかしながら、１に等しいpartial_reconstructionフラグ１３１０は、トラックグループがソースのサブパートのみを含むことを信号で知らせるために使用され、ソースは部分的にのみレンダリングされる。この追加パラメータは、メディアプレーヤのための指示である。それは、形状のテキスト記述、例えば、「矩形」、「正方形」、「三角形」などであり得る。
【０１５０】
図４〜図１３に示す例では、ｘはobject_xに対応し、ｙはobject_yに対応し、ｗおよびｈはそれぞれSpatialRelationshipGroupEntryからのobject_widthおよびobject_heightに対応する。
【０１５１】
代替実施形態では、２つのタイプの空間的関係記述、すなわち記述的記述と処方的記述が区別される。各タイプの空間関係記述は、track_grouping_typeで使用することができる、予約された一意の４文字コードを有する。異なるtrack_grouping_typeを有することは、元のソース（記述的）または空間的構成（規定的）からの空間的関係を記述することを可能にする。この区別を行うことにより、合成が元のソースビデオとは異なるビデオをもたらす可能性があるので、source_idパラメータもはや必要とされない場合がある合成のためのより明るい空間関係記述が可能になる。
【０１５２】
別の実施形態では、空間関係記述のためのトラックグループがspatial_set_idを含まない。この実施形態では、spatial_set_id値がtrack_group_id値と同じである。タイルベースまたは関心領域ストリーミング（例えば、ＤＡＳＨ）のためのコンテンツを準備するとき、これらの空間的関係はストリーミングマニフェスト（例えば、ＳＲＤ記述子を有するＤＡＳＨメディアプレゼンテーション記述）またはセッション記述プロトコルファイルにおいて公開されることができ、spatial_set_idは、track_group_idの値に設定される。同様に、トラックプロパティが動的で、grouping_type='srd ' のサンプルグループで記述されている場合、grouping_typeパラメータはこのtrack_group_idを使用する。
【０１５３】
別の実施形態では、SpatialRelationGroupEntryがサブピクチャトラック（w, h）のサイズを含まず、その位置（ｘおよびｙ）のみを含むことができる。この場合、トラックヘッダのトラック幅と高さを考慮する。この場合、座標は、任意の又は正規化された単位ではなく、ルマサンプル単位で表されると考えられる。
【０１５４】
SpatialRelationshipDescriptionGroupEntryおよび‘srd ‘トラックは、‘trgr’ボックスまたは代替としてGroups List box (‘grpl’)に記述することもできる。‘srd ‘トラックグループが静的である場合、‘srd ‘トラックグループおよびSpatialRelationshipGroupEntry ‘srd ‘の両方を、それぞれ、GroupListボックスの１つのエントリ内のトラックプロパティとしてマージし得る。‘srd ‘トラックグループが動的である場合、トラックグループからのパラメータのみが、GroupList Boxにおける１つのエントリに移動され、一方、SpatialDescriptionGroupEntryはサブピクチャトラックに残る。
【０１５５】
第３の実施形態によれば、Groups List box (‘grpl’)はfile-level Meta Box (‘meta’)に加えてfragment-level Meta Box (‘meta’)においてで定義することができ、すなわち、EntityToGroupBoxは、時間に沿ってＩＳＯＢＭＦＦフラグメントにわたって再定義することができる。
【０１５６】
フラグメント（‘moof’ボックスの下）に定義されたEntityToGroupBoxは、以前に定義された同じgrouping_typeおよび同じgroup_idを有する任意のEntityToGroupBoxに取って代わる。また、すべてのトラックでgrouping_typeとtrack_group_idがgroup_idに等しい以前のすべてのトラックグループ定義を無効にする。
【０１５７】
フラグメントにおいてEntityToGroupBoxを定義することによって、所与のgrouping_typeおよびgroup_idを有するトラックのグループ（共通プロパティを含む）の定義の完全なリセットに進むことが可能であり、その結果、この更新されたトラックのグループに属するトラックに関連するすべてのプロパティを、このトラックのグループを構成する各トラックについてフラグメントレベルで再定義しなければならない。
【０１５８】
これを可能にするために、以下のようにフラグメントレベルでトラックグループ定義を許可することによってトラックグループを拡張することが提案される: 
2020537376.tif 000026
2020537376.tif 000027
ここで、このボックスは、トラックフラグメントが属するトラックのグループのセットを記述するTrackGroupTypeBoxのセットを含む。
【０１５９】
TrackGroupTypeBoxは、前述の実施形態と同様に定義される。
これは、フラグメント粒度における時間に沿ってトラックグループ内のトラックに関連するパラメータを更新するのに有用である。これは、前述のようなサンプルグループ化機構を使用して、トラックレベル（‘track’ボックス内）での静的定義とサンプルレベルでの完全な動的性との間のパラメータの中間粒度を提供する。
【０１６０】
このTrackGroupBox (‘trgr’)がTrackFragmentBox (‘traf’)内で定義されるとき、その内容（すなわち、TrackGroupTypeBoxのセット）は前のフラグメントまたは対応するTrackBox (‘trak’)（すなわち、同じtrack_IDを有する）内のこのトラックに関連するトラックのグループのすべての指示に取って代わる。コンテナTrackGroupBox  (‘trgr’)がTrackFragmentBox (‘traf’)内で空である場合、フラグメントはどのグループにも属さない。TrackGroupBox ('trgr')がTrackFragmentBox (‘traf’)において定義されていない場合、‘moov’ボックスにおけるこのトラックに関連するトラックグループ定義（すなわち、関連する‘trak’ボックス内で定義された‘trgr’ボックス）がもしあれば、適用される。
【０１６１】
TrackFragmentBox ('traf')において定義されるTrackGroupBox (‘trgr’)は、所与のトラックフラグメントに対して有効なトラックのグループの指示を可能にする。トラックフラグメントにおけるTrack Group Box (‘trgr’)の範囲はトリックモードおよびシーク管理に対処するために、包含するトラックフラグメントに限定され、いくつかのフラグメントは、クライアントによって失われるか、または要求されない可能性がある。このような場合、クライアントは、以前のフラグメントでのみ定義された情報に依存してはならない。
【０１６２】
これにより、トラックを時間に沿ってトラックグループに追加したり、トラックグループから削除したりすることが可能になる。
【０１６３】
代替処理として、上記で定義したTrackGroupBox (‘trgr’)をComponentToGroupBoxと組み合わせて、トラックが属するグループのセット、および場合によっては所与のグループ内のトラックに関連するパラメータを時間に沿って変化させることもできる。同様に、TrackGroupBoxbox (‘trgr’)がTrackFragmentBox (‘traf’)において定義されるとき、その内容（すなわち、TrackGroupTypeBoxのセット）は、トラックフラグメントのtrack_IDに等しいcomponent_idを有する任意のComponentInComponentToGroupBoxによって定義されるすべての情報に取って代わる。
【０１６４】
第４の実施形態によれば、１つまたは複数の追加のフラグを、以前に定義されたボックス、EntityToGroupBox、 TrackGroupTypeBox、 ComponentToGroupBox、およびComponentInComponentToGroupBoxのいずれか１つに定義して、グループのメンバの数および／またはグループによって共有されるプロパティ、および／またはグループ内のエンティティまたはコンポーネントに関連するプロパティが、時間に沿って静的または動的であるかどうかをシグナリングすることができる。この１つまたは複数のフラグにより、クライアントパーサはトラックフラグメントまたはサンプルグループ化ボックス（例えば、CompactSampleToGroupBoxまたはSampleToGroup、およびSampleGroupDescriptionBox）内のさらなるサブレベルトラックグループボックスを解析して、時間に沿ってすべての既存のグループおよび関連するプロパティを決定するように準備される場合、またはすべてのグループ関連情報がプレゼンテーションの開始時に静的に定義される場合に、シグナリングされることが可能になる。
【０１６５】
例えば、EntityToGroupBoxまたはComponentToGroupBoxにおける１ビットフラグ（例えば、static_grouping_flag）は、コンポーネントまたはエンティティのグループがマルチメディアプレゼンテーション期間全体にわたって静的であることを１に設定されたとき、およびコンポーネントまたはエンティティのグループがトラックフラグメントレベルで変化し得ることを０に設定されたときに（例えば、フラグメントレベルでのトラックグループ化機構またはサンプルグループ化を使用して）、信号を送る（シグナリングする）。
【０１６６】
別の例では、TrackGroupTypeBoxまたはComponentInComponentToGroupBoxにおける１ビットフラグ（例えば、static_properties_flag）は埋め込みボックス（それぞれ、TrackGroupTypeBoxまたはComponentInComponentToGroupBox）において定義されたプロパティがプレゼンテーションの全持続時間（ファイルレベルボックス、例えば、‘moov’、 ‘meta’ボックスにおいて定義される場合）またはフラグメントの持続時間（フラグメントレベルボックス、例えば、‘moof’、 ‘meta’または‘traf’ボックスにおいて定義される場合）の間、同じままであることを１に設定したとき、およびプロパティがフラグメントレベルでトラックグループ化またはサンプルグループ化機構のいずれかを使用して変化することができることを０に設定したときに、信号を送る（シグナリングする）。
【０１６７】
前の例の代替処理では、２ビットフラグ（例えば、dynamic_properties_flag）を使用して、フラグメントレベルでのトラックグループ化機構またはサンプルグループ化機構のいずれか、あるいは場合によっては両方を使用して動的性が実装されるかどうかを正確にすることができる。
-  dynamic_properties_flag = 0は、動的性がないことを意味する。
-  dynamic_properties_flag = 1は、フラグメントレベルでのトラックのグループ化を使用した、フラグメントの粒度で動的性を意味する。
-  dynamic_properties_flag = 2は、サンプルのグループ化メカニズムを使用した、サンプルの粒度での動的性を意味する。
-  dynamic_properties_flag = 3は、トラックのグループ化またはサンプルのグループ化メカニズム、あるいはその両方を使用して、フラグメントとサンプルの両方の粒度での動的性を意味する。
【０１６８】
上記のフラグを同時に使用することにより、次のように動的性の階層を定義することができる。 
-  EntityToGroupBoxまたはComponentToGroupBoxにおけるフラグは、それがトラックフラグメントレベルで動的性が存在するかどうかをシグナリングし得る。
-  フラグメントレベルのTrackGroupTypeBoxにおけるフラグは、それが所与のトラックフラグメント内のサンプルレベルで動的性が存在するかどうかをシグナリングし得る。
【０１６９】
代替実施形態では、上記１ビットまたは２ビットフラグの複数のインスタンスを使用して、以下の情報の動的性を別々にシグナリングすることが可能である。
-  グループを構成するコンポーネントのリストが動的か静的か。
-  グループに関連付けられた共通プロパティのセットが動的か静的か。
-  グループ内の所与のコンポーネントに関連付けられたプロパティのセットが動的であるか静的であるか。
【０１７０】
別の方法では、別のパラメータ（static_group_idなど）を以前に定義したボックス、EntityToGroupBox、 TrackGroupTypeBox、 ComponentToGroupBox、およびComponentInComponentToGroupBoxのいずれかで定義して、ボックスの内容が同じgrouping_typeまたはtrack_group_typeおよびgroup_idまたはtrack_group_idを持つ同じボックスの以前のインスタンスと比較して実際に変化したかどうかを通知することもできる。上記のボックスのそれぞれについて、このstatic_group_idは上記のボックスの新しいインスタンスが同じgroup_idまたはtrack_group_idおよびgrouping_typeまたはtrack_grouping_typeのペアでそれぞれ定義されるたびに増加し、ボックスは、前のインスタンスと比較して異なるプロパティまたはコンポーネントのリストを定義する。このパラメータstatic_group_idは、一種のバージョン番号を表す。ボックスの内容（すなわち、グループ化されたコンポーネントおよび／またはプロパティの設定）が以前に定義されたものと全く同じである場合、ボックスは以前のstatic_group_idパラメータ値を再使用することができる。このパラメータにより、クライアントパーサは、ボックス全体を構文解析する前に何かが変化したかどうかを知ることができる。
【０１７１】
図３は、本発明の１つまたは複数の実施形態を実施するためのコンピューティングデバイス３００の概略ブロック図である。コンピューティングデバイス３００は、マイクロコンピュータ、ワークステーション、またはライトポータブル装置などの装置とすることができる。コンピューティングデバイス３００は、以下に接続された通信バスを備える：
-  マイクロプロセッサのような中央処理装置（ＣＰＵ）３０１；
-  本発明の実施形態の方法の実行可能コードを記憶するためのランダムアクセスメモリ（ＲＡＭ）３０２、ならびにマニフェストの読取りおよび書込み、ならびに/またはビデオの符号化、および/または所与のファイルフォーマットの下でのデータの読取りまたは生成のための方法を実施するために必要な変数およびパラメータを記録するように適合されたレジスタはたとえば、拡張ポートに接続された任意選択のRAMによって、そのメモリ容量を拡張することができる；
-  本発明の実施形態を実施するためのコンピュータプログラムを記憶するための読出し専用メモリ（ＲＯＭ）３０３； 
-  次に、通常、処理されるデジタルデータが送信または受信される通信ネットワークに接続されるネットワークインターフェース３０４。ネットワークインターフェース３０４は単一のネットワークインターフェースであってもよく、または異なるネットワークインターフェースの設定（例えば、有線インターフェースおよび無線インターフェース、または異なる種類の有線インターフェースまたは無線インターフェース）から構成されてもよい。データは、送信のためにネットワークインターフェースに書き込まれるか、またはＣＰＵ３０１で実行されるソフトウェアアプリケーションの制御下で受信のためにネットワークインターフェースから読み出される；
-  ユーザからの入力を受信するため、またはユーザに情報を表示するためのユーザインターフェース（ＵＩ）３０５；
-  ハードディスク（ＨＤ）３０６； 
ビデオソースやディスプレイなどの外部デバイスとの間でデータを送受信するためのＩ/Ｏモジュール３０７。
【０１７２】
実行可能コードは読み出し専用メモリ３０３、ハードディスク３０６、または例えばディスクのようなリムーバブルデジタル媒体のいずれかに記憶されてもよい。変形例によれば、プログラムの実行可能なコードはハードディスク３０６のような通信装置３００の記憶手段の１つに記憶されてから実行されるために、ネットワークインターフェース３０４を介して、通信ネットワークの手段によって受信されることができる。
【０１７３】
中央処理ユニット３０１は本発明の実施形態によるプログラムの命令またはソフトウェアコードの一部の実行を制御し、指示するように適合され、命令は、前述の記憶手段のうちの１つに記憶される。電源投入後、ＣＰＵ３０１は、例えばプログラムＲＯＭ３０３またはハードディスク（ＨＤ）３０６からソフトウェアアプリケーションに関する命令をロードした後、メインＲＡＭメモリ３０２からの命令を実行することができる。このようなソフトウェアアプリケーションは、ＣＰＵ３０１によって実行されると、先の図に示すフローチャートの各ステップを実行する。
【０１７４】
この実施形態では、装置が本発明を実施するためにソフトウェアを使用するプログラマブル装置である。しかしながら、代替的に、本発明はハードウェア（例えば、特定用途向け集積回路（ＡＳＩＣ）の形態）で実施されてもよい。
【０１７５】
以上、特定の実施形態を参照して本発明を説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある修正は当業者には明らかであろう。
【０１７６】
例えば、本発明はカメラ、スマートフォン、ヘッドマウントディスプレイ、または例えば関心のある特定の領域にズームインするためのTVまたはマルチメディアディスプレイのためのリモートコントローラとして機能するタブレットのような装置に組み込まれてもよい。これはまた、関心のある特定の領域を選択することによってマルチメディアプレゼンテーションの個人化されたブラウジング体験を有するために、同じデバイスから使用され得る。ユーザによるこれらの装置および方法からの別の使用は、他の接続されたデバイスと、ユーザの好ましいビデオのいくつかの選択されたサブパートを共有することである。また、監視カメラが本発明によるデータを提供する方法をサポートする場合には、監視下に置かれた建物の特定の領域で何が起こるかを監視するために、スマートフォンまたはタブレットと共に使用することもできる。
【０１７７】
多くのさらなる修正および変形は単に例として与えられ、本発明の範囲を限定することを意図されておらず、その範囲は添付の特許請求の範囲によってのみ決定される、前述の例示的な実施形態を参照することにより、当業者に示唆されるのであろう。特に、異なる実施形態からの異なる特徴は、適宜、交換されてもよい。
【図１】
2020537376.tif 000028
【図２ａ】
2020537376.tif 000029
【図２ｂ】
2020537376.tif 000030
【図３】
2020537376.tif 000031
【図４】
2020537376.tif 000032
【図５】
2020537376.tif 000033
【図６】
2020537376.tif 000034
【図７】
2020537376.tif 000035
【図８】
2020537376.tif 000036
【図９】
2020537376.tif 000037
【図１０】
2020537376.tif 000038
【図１１】
2020537376.tif 000039
【図１２】
2020537376.tif 000040
【図１３】
2020537376.tif 000041
【図１４】
2020537376.tif 000042
【手続補正書】
【提出日】令和2年4月14日(2020.4.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時限メディアデータに基づいて１つまたは複数のメディアファイルを生成する方法であって、前記時限メディアデータはサンプルを含み、前記方法は、
前記サンプルを含む前記時限メディアデータを取得することと、
前記取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成することと、
前記作成されたトラックに関連付けられた記述メタデータを生成することと、
前記トラックおよび前記記述メタデータに基づいて、１つまたは複数のメディアファイルを生成することを含み、
前記記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって前記作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBox（トラックグループボックス）を含み、
前記記述メタデータは、前記作成されたトラックに対する複数のプロパティのセットをさらに含み、
前記記述メタデータは、グループタイプのパラメータを含むSampleToGroupBoxをさらに含み、
前記グループタイプのパラメータの値は、トラックグループ識別子と等しい、方法。
【請求項２】
前記複数のプロパティのセットの少なくとも一部は、前記記述メタデータにおけるSampleGroupDescriptionBoxに含まれる、請求項１に記載の方法。
【請求項３】
１つのSampleGroupDescriptionBoxは、トラックごとに生成される、請求項１に記載の方法。
【請求項４】
同じトラックグループ識別子に対応する１つまたは複数のトラックが、前記複数のプロパティのセットの中からの同じプロパティのセットに関連付けられる、請求項１に記載の方法。
【請求項５】
単一の位置は、プレゼンテーションファイルにおけるトラックレベルよりも高いレベルに位置する、請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記トラックグループボックスは、前記トラックのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクスに関連付けられたグループ化タイプを示す、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記時限データは、時間サンプルの少なくとも１つがサブサンプルを含むように分割される、請求項１から６のいずれか１項に記載の方法。
【請求項８】
少なくとも１つのトラックグループは、前記グループに属する異なるトラックのサブサンプルを含む合成グループである、請求項７に記載の方法。
【請求項９】
前記トラックグループボックスは、前記グループの識別子を示し、前記識別子は、プレゼンテーションファイルにおいて一意である、請求項１から８のいずれか１項に記載の方法。
【請求項１０】
各グループの前記トラックによって共有されるトラックおよびプロパティの既存のグループのリストは、前記プレゼンテーションファイルにおけるムービーレベルで定義される、請求項９に記載の方法。
【請求項１１】
少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、前記プレゼンテーションファイルにおけるトラックレベルで定義される、請求項１０に記載の方法。
【請求項１２】
ムービーレベルの前記グループの定義は、同じ一意のグループ識別子によってトラックレベルにおける前記グループの定義に関連付けられる、請求項１１に記載の方法。
【請求項１３】
少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、プレゼンテーションファイルにおける単一の場所で定義される、請求項１から１２のいずれか１項に記載の方法。
【請求項１４】
前記１つのトラックに固有のプロパティは、トラックの既存のグループのリストにおいて直接定義される、請求項１２に記載の方法。
【請求項１５】
各プロパティは、異なる値をとることができ、トラックに固有の各プロパティの前記値は、時間とともに変化する、請求項１１に記載の方法。
【請求項１６】
前記トラックに固有の各プロパティの前記値は、前記トラック内の１つまたは複数のサンプルに対して定義される、請求項１５に記載の方法。
【請求項１７】
前記記述メタデータは、同じトラックのグループに属する前記トラック内の前記サンプルを記述する少なくとも１つのボックスをさらに含み、前記少なくとも１つのボックスは、時間とともに前記固有のプロパティをとることができる異なる可能な値を定義する、請求項１６に記載の方法。
【請求項１８】
前記少なくとも１つのボックスは、サンプルのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクスに関連付けられたグループ化タイプを示す、請求項１７に記載の方法。
【請求項１９】
連続するサンプルの前記プロパティによって得られる前記値が繰り返しパターンに従い、少なくとも１つのボックスが、前記繰り返しパターン自体およびその繰り返しを定義する、請求項１７または１８に記載の方法。
【請求項２０】
各プロパティは異なる値を取ることができ、プレゼンテーションファイルは、前記トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される、請求項１から１９のいずれか１項に記載の方法。
【請求項２１】
前記トラックグループボックスは、前記少なくとも１つのトラックのグループの定義が時間とともに変化し得るか否かを示すフラグを含む、請求項１から２０のいずれか１項に記載の方法。
【請求項２２】
前記トラックの少なくとも１つのグループの定義は、前記グループのトラックによって共有されるプロパティ、各プロパティをとることができる値、および／またはグループを構成するトラックを含む、請求項２１に記載の方法。
【請求項２３】
時限メディアデータに基づいて１つまたは複数のメディアファイルを生成するための装置であって、前記時限メディアデータはサンプルを含み、前記装置は、
前記サンプルを含む前記時限メディアデータを取得し、
前記取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成し、
前記作成されたトラックに関連付けられた記述メタデータを生成し、
前記トラックおよび前記記述メタデータに基づいて、１つまたは複数のメディアファイルを生成するように構成され、
前記記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって前記作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBox（トラックグループボックス）を含み、
前記記述メタデータは、前記作成されたトラックに関する複数のプロパティのセットをさらに含み、
前記記述メタデータは、グループタイプのパラメータを含むSampleToGroupBoxをさらに含み、
前記グループタイプのパラメータの値は、トラックグループ識別子と等しい、装置。
【請求項２４】
各プロパティが異なる値をとることができ、トラックに固有の各プロパティの前記値が時間とともに変化する、請求項２３に記載の装置。
【請求項２５】
各プロパティは異なる値をとることができ、プレゼンテーションファイルは、前記トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される、請求項２３または２４に記載の装置。
【請求項２６】
前記トラックグループボックスは、前記トラックの少なくとも１つのグループの定義が経時的に変化し得るか否かを示すフラグを含む、請求項２３から２５のいずれか１項に記載の装置。
【請求項２７】
プログラマブル装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラマブル装置にロードされ、前記プログラマブル装置によって実行されるときに、請求項１から２２のいずれか１項に記載の方法を実施するための命令のシーケンスを含む、コンピュータプログラム製品。
【請求項２８】
請求項１から２２のいずれか１項に記載の方法を実施するためのコンピュータプログラムの指示を記憶するコンピュータ可読記憶媒体。
【手続補正書】
【提出日】令和2年5月18日(2020.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時限メディアデータに基づいて１つまたは複数のメディアファイルを生成する方法であって、前記時限メディアデータはサンプルを含み、前記方法は、
前記サンプルを含む前記時限メディアデータを取得することと、
前記取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成することと、
前記作成されたトラックに関連付けられた記述メタデータを生成することと、
前記トラックおよび前記記述メタデータに基づいて、前記１つまたは複数のメディアファイルを生成することを含み、
前記記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって前記作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBox（トラックグループボックス）を含み、
前記記述メタデータは、前記作成されたトラックに対する複数のプロパティのセットをさらに含み、
前記記述メタデータは、グループタイプのパラメータを含むSampleToGroupBoxをさらに含み、
前記グループタイプのパラメータの値は、トラックグループ識別子と等しい、方法。
【請求項２】
前記複数のプロパティのセットの少なくとも一部は、前記記述メタデータにおけるSampleGroupDescriptionBoxに含まれる、請求項１に記載の方法。
【請求項３】
１つのSampleGroupDescriptionBoxは、トラックごとに生成される、請求項１に記載の方法。
【請求項４】
同じトラックグループ識別子に対応する１つまたは複数のトラックが、前記複数のプロパティのセットの中からの同じプロパティのセットに関連付けられる、請求項１に記載の方法。
【請求項５】
単一の位置は、プレゼンテーションファイルにおけるトラックレベルよりも高いレベルに位置する、請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記トラックグループボックスは、前記トラックのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクスに関連付けられたグループ化タイプを示す、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記時限データは、時間サンプルの少なくとも１つがサブサンプルを含むように分割される、請求項１から６のいずれか１項に記載の方法。
【請求項８】
少なくとも１つのトラックグループは、前記グループに属する異なるトラックのサブサンプルを含む合成グループである、請求項７に記載の方法。
【請求項９】
前記トラックグループボックスは、前記グループの識別子を示し、前記識別子は、プレゼンテーションファイルにおいて一意である、請求項１から８のいずれか１項に記載の方法。
【請求項１０】
各グループの前記トラックによって共有されるトラックおよびプロパティの既存のグループのリストは、前記プレゼンテーションファイルにおけるムービーレベルで定義される、請求項９に記載の方法。
【請求項１１】
少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、前記プレゼンテーションファイルにおけるトラックレベルで定義される、請求項１０に記載の方法。
【請求項１２】
ムービーレベルの前記グループの定義は、同じ一意のグループ識別子によってトラックレベルにおける前記グループの定義に関連付けられる、請求項１１に記載の方法。
【請求項１３】
少なくとも１つのトラックに対して、このトラックに固有のさらなるプロパティが、プレゼンテーションファイルにおける単一の場所で定義される、請求項１から１２のいずれか１項に記載の方法。
【請求項１４】
前記１つのトラックに固有のプロパティは、トラックの既存のグループのリストにおいて直接定義される、請求項１２に記載の方法。
【請求項１５】
各プロパティは、異なる値をとることができ、トラックに固有の各プロパティの前記値は、時間とともに変化する、請求項１１に記載の方法。
【請求項１６】
前記トラックに固有の各プロパティの前記値は、前記トラック内の１つまたは複数のサンプルに対して定義される、請求項１５に記載の方法。
【請求項１７】
前記記述メタデータは、同じトラックのグループに属する前記トラック内の前記サンプルを記述する少なくとも１つのボックスをさらに含み、前記少なくとも１つのボックスは、時間とともに前記固有のプロパティをとることができる異なる可能な値を定義する、請求項１６に記載の方法。
【請求項１８】
前記少なくとも１つのボックスは、サンプルのグループを形成するために使用される少なくとも１つの基準を記述するセマンティクスに関連付けられたグループ化タイプを示す、請求項１７に記載の方法。
【請求項１９】
連続するサンプルの前記プロパティによって得られる前記値が繰り返しパターンに従い、少なくとも１つのボックスが、前記繰り返しパターン自体およびその繰り返しを定義する、請求項１７または１８に記載の方法。
【請求項２０】
各プロパティは異なる値を取ることができ、プレゼンテーションファイルは、前記トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される、請求項１から１９のいずれか１項に記載の方法。
【請求項２１】
前記トラックグループボックスは、前記少なくとも１つのトラックのグループの定義が時間とともに変化し得るか否かを示すフラグを含む、請求項１から２０のいずれか１項に記載の方法。
【請求項２２】
前記トラックの少なくとも１つのグループの定義は、前記グループのトラックによって共有されるプロパティ、各プロパティをとることができる値、および／またはグループを構成するトラックを含む、請求項２１に記載の方法。
【請求項２３】
時限メディアデータに基づいて１つまたは複数のメディアファイルを生成するための装置であって、前記時限メディアデータはサンプルを含み、前記装置は、
前記サンプルを含む前記時限メディアデータを取得し、
前記取得されたサンプルの少なくとも１つの少なくとも一部を各々が含むトラックを作成し、
前記作成されたトラックに関連付けられた記述メタデータを生成し、
前記トラックおよび前記記述メタデータに基づいて、前記１つまたは複数のメディアファイルを生成するように構成され、
前記記述メタデータは、少なくとも１つのトラックグループ識別子を含み、かつ、少なくとも１つのトラックグループ識別子を使用することによって前記作成されたトラックの少なくとも１つのグループを記述する少なくとも１つのTrackGroupBox（トラックグループボックス）を含み、
前記記述メタデータは、前記作成されたトラックに関する複数のプロパティのセットをさらに含み、
前記記述メタデータは、グループタイプのパラメータを含むSampleToGroupBoxをさらに含み、
前記グループタイプのパラメータの値は、トラックグループ識別子と等しい、装置。
【請求項２４】
各プロパティが異なる値をとることができ、トラックに固有の各プロパティの前記値が時間とともに変化する、請求項２３に記載の装置。
【請求項２５】
各プロパティは異なる値をとることができ、プレゼンテーションファイルは、前記トラックの少なくとも１つのグループがフラグメントレベルで定義され、トラックのグループを構成するトラックのセットが時間とともに変化するようにフラグメント化される、請求項２３または２４に記載の装置。
【請求項２６】
前記トラックグループボックスは、前記トラックの少なくとも１つのグループの定義が経時的に変化し得るか否かを示すフラグを含む、請求項２３から２５のいずれか１項に記載の装置。
【請求項２７】
プログラマブル装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラマブル装置にロードされ、前記プログラマブル装置によって実行されるときに、請求項１から２２のいずれか１項に記載の方法を実施するための命令のシーケンスを含む、コンピュータプログラム製品。
【請求項２８】
請求項１から２２のいずれか１項に記載の方法を実施するためのコンピュータプログラムの指示を記憶するコンピュータ可読記憶媒体。
【国際調査報告】
2020537376.tif 000043
2020537376.tif 000044
2020537376.tif 000045