(57)【要約】  本発明によるマルチメディアシステムにおける適応的メディア構造を送信する方法は、メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成するステップ及び上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信するステップを含み、上記ＭＦＵはＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成される。
2015527788.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアシステムにおける適応的メディア構造を送信する方法であって、
アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ)を一つのアセットで構成するステップと、
前記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信するステップとを含み、
前記ＭＦＵは、ＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成されることを特徴とする送信方法。
【請求項２】
前記ＭＦＵを構成するステップは、
前記ＭＦＵがＡＵタイプである場合、前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含まないように構成することを特徴とする請求項１に記載の送信方法。
【請求項３】
前記ＭＦＵを構成するステップは、
前記ＭＦＵがＡＵタイプではない場合、前記ＭＦＵの構成情報に前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含むように構成することを特徴とする請求項１に記載の送信方法。
【請求項４】
前記ＭＦＵがＡＵタイプではない場合、前記タイプ情報は前記ＡＵ内で位置する前記ＭＦＵの位置情報を含むことを特徴とする請求項１に記載の送信方法。
【請求項５】
マルチメディアシステムにおける適応的メディア構造を送信する方法であって、
アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）と前記ＭＦＵの個数情報を含むメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成するステップと、
前記構成されたアセットをコンポジション情報（ＣＩ)に含めて送信するステップとを含むことを特徴とする送信方法。
【請求項６】
前記ＭＰＵは、
前記ＭＦＵのそれぞれの識別情報を含むことを特徴とする請求項５に記載の送信方法。
【請求項７】
前記ＭＦＵは、
前記ＭＦＵの境界を感知するスタートコード情報と有効性を検証するエラー検出コード情報(ＥＤＣ)を含むことを特徴とする請求項５に記載の送信方法。
【請求項８】
前記ＭＰＵは、
前記アセットの識別情報及び前記ＭＰＵのシーケンス番号のうち少なくとも一つを含むことを特徴とする請求項５に記載の送信方法。
【請求項９】
前記ＭＰＵは、
前記ＭＰＵを構成するメディアデータが時間属性を含むかそれとも非時間属性を含むかを示す属性情報を含むことを特徴とする請求項５に記載の送信方法。
【請求項１０】
前記ＭＰＵは、
前記ＡＵのプレゼンテーション時間情報及びデコーディング時間情報のうち少なくとも一つを含むことを特徴とする請求項５に記載の送信方法。
【請求項１１】
前記ＭＰＵは、
デコーダ設定情報を含むことを特徴とする請求項５に記載の送信方法。
【請求項１２】
前記デコーダ設定情報は、
シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）のうち少なくとも一つを含むことを特徴とする請求項１１に記載の送信方法。
【請求項１３】
マルチメディアシステムにおける適応的メディア構造を送信する装置であって、
メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成する制御部と、
前記制御部に制御によって前記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信する伝送部と、を含み、
前記制御部は、
前記ＭＦＵがＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成することを特徴とする送信装置。
【請求項１４】
前記制御部は、
前記ＭＦＵがＡＵタイプである場合、前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含まないように構成することを特徴とする請求項１３に記載の送信装置。
【請求項１５】
前記制御部は、
前記ＭＦＵがＡＵタイプではない場合、前記ＭＦＵの構成情報に前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含むように構成することを特徴とする請求項１３に記載の送信装置。
【請求項１６】
請求項５乃至請求項１２のうちいずれか一つの方法を遂行するように適用されることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアシステムに関し、特にマルチメディアシステムにおける適応的メディア送信方法及び装置に関する。
【背景技術】
【０００２】
最近、デジタルによる放送通信融合時代が到来して、ＩＰＴＶ、スマートＴＶなどの放送通信融合媒体を通して映像、音楽、その他のエンターテインメントメディアの消費環境が拡大された。これは、消費媒体を利用して一つのメディアに対するサービスを単方向で提供を受ける環境から、端末と通信技術の発達により多様な情報を同時に消費できる環境に進歩し、消費者が所望の情報だけを得るためのメディア消費の普遍化が一般化されている。
【０００３】
ＭＰＥＧ(Mathematical programming with equilibrium constraints)−２システムは、放送のためのシステムであって、ビデオとオーディオデータを含むメディアの同期化と多重送信のためのシステムを定義する。上記ＭＰＥＧ−２システムは、上記メディアに新たなプログラムを追加し、既存のプログラムを削除することが自由であり、ビデオとオーディオの同期化のために、メディアが１８８バイト単位で多重化される。したがって、ＭＰＥＧ−２システムでは、編集及び一部のプログラムの再生のためには逆多重化が必要であり、新たなコーデックが製作されるごとに伝送のためのスペックが改正される。
【０００４】
ＭＰＥＧ−４システムは、ファイルの保存のためのシステムを定義する。ＭＰＥＧ−４システムにおける伝送データは、メタデータとメディアデータで構成される。メタデータは、編集及び外部リソース参照のためのデータを定義する。上記ＭＰＥＧ−４システムは、ＭＰＥＧ−２システムとは異なり、新たなプログラムの追加及び既存プログラムの削除が難しく、メタデータの全部を更新しなければならない。上記ＭＰＥＧ−４システムも上記ＭＰＥＧ−２と同じように新たなコーデックが製作されるごとに伝送のためのスペックが改正される。
【０００５】
このように、従来のマルチメディアシステムは、プログラムの追加及び削除を動的に実行できず、伝送階層における保存過程や保存階層における保存過程でコーデックに対する理解がないとメディアを処理できず、伝送過程と保存過程で共通で使用される保存所構造(container format)を提案しない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、マルチメディアシステムにおけるプログラムの追加及び削除を動的に実行するための適応的メディア構造を送受信する方法及び装置を提供する。
【０００７】
また本発明は、マルチメディアシステムにおける伝送や保存階層でコーデックに対する理解がなくても適応的メディア構造を送受信する方法及び装置を提供する。
【０００８】
また本発明は、マルチメディアシステムにおける伝送と保存に共通で使用されることができる保存場所を含む適応的メディア構造を送受信する方法及び装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の一面によるマルチメディアシステムにおける適応的メディア構造を送信する方法は、メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成するステップ及び、上記構成されたアセットをコンポジション情報（ＣＩ：Composition information）に含めて送信するステップを含み、上記ＭＦＵは、ＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成されることを特徴とする。
【００１０】
本発明の他の一面によるマルチメディアシステムにおける適応的メディア構造を送信する方法は、アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）と上記ＭＦＵの個数情報を含むメディアプロセッシングユニット(ＭＰＵ)を一つのアセットで構成するステップ及び、上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信するステップを含む。
【００１１】
本発明の他の一面によるマルチメディアシステムにおける適応的メディア構造を送信する装置は、メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット(ＭＰＵ)を一つのアセットで構成する制御部及び、上記制御部の制御によって上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信する伝送部を含み、上記制御部は、上記ＭＦＵがアクセスユニット（ＡＵ）タイプであるかスライスタイプであるかを示すタイプ情報を含むように構成することを特徴とする。
【００１２】
本発明の他の一面によるマルチメディアシステムにおける適応的メディア構造を送信する装置は、アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）と上記ＭＦＵの個数情報を含むメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成する制御部及び、上記制御部の制御によって上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信する伝送部を含む。
【図面の簡単な説明】
【００１３】
【図１】本発明でＭＰＵ及びＭＦＵ設計が要求される場合の動作を示す図である。
【図２】本発明の第３の実施形態によるエラー検出コード（ＥＤＣ）とスタートコード（start code）を使用した動作を示す図である。
【図３】本発明の第４の実施形態による、ＭＰＵ内のアセット識別子とシーケンス番号を利用した論理的アセット構成を示す図である。
【図４】本発明の第５の実施形態によるＩＤＲピクチャ（Picture）とＢ，Ｐピクチャがデコーディング順序で配列されたクローズドＧＯＰにおけるプレゼンテーション（presentation）情報を提供する方法を示す図である。
【図５】本発明の第５の実施形態による、ＩＤＲピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたクローズドＧＯＰにおけるデコーディング順序を示す情報を提供する方法を示す図である。
【図６】本発明の第５の実施形態による、ＣＲＡピクチャとＢ，Ｐピクチャがデコーディング順序で配列されたオープンＧＯＰにおけるプレゼンテーション順序情報提供方法を示す図である。
【図７】本発明の第５の実施形態による、ＣＲＡピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたオープンＧＯＰにおけるデコーディング順序情報提供方法を示す図である。
【図８】本発明の第６の実施形態による、ＭＰＵ構造で再生しようとする時点を探して再生する方法を示す図である。
【図９】本発明の第８の実施形態によるＭＰＵボックスの構造を示す図である。
【図１０】本発明の第９の実施形態によるmfu_Boxの構造を示す図である。
【図１１】本発明の第１０の実施形態によるＭＰＵ_Boxとmfu_Boxの構造を示す図である。
【図１２】本発明の実施形態によって適応的メディア構造を生成して伝送する送信装置の構成を示すブロック図である。
【図１３】本発明の実施形態によってメディアコンテンツを受信する受信装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明による望ましい実施形態を添付図面を参照して詳細に説明する。下記の説明では、本発明による動作を理解するために必要な部分だけが説明され、それ以外の部分の説明は本発明の要旨を不明瞭にしないように省略されることに留意すべきである。
【００１５】
本発明の主要な要旨は、マルチメディアシステムにおけるプログラムの追加及び削除を動的に実行し、伝送や保存階層でコーデックに対する理解がなくても適応的メディア構造を送信し、伝送と保存に共通で使用されることができる保存構造(container format)を含む適応的メディア構造を提供するために、ＭＦＵ及びＭＰＵの設計とこれを利用する伝送及び保存階層の動作を提供することである。そのために本発明の実施形態によるマルチメディアシステムにおける適応的メディア構造を送受信する方法及び装置に対して詳細に説明する。
【００１６】
本発明の理解を助けるために、以下、明細書全般にかけて使用される複数の伝送単位に対する概念を記述する。
【００１７】
用語「スライス」とは、帯状で一つのフレームを分割する分割単位で言及されることができる。
用語「アクセスユニット」とは、あるフレームに対応するメディアデータを符号化した場合、上記符号化されたメディアデータの長さを定義する伝送単位で言及されることができる。
用語ＭＦＵは、ＡＵより小さいか同一であり、任意のメディア復号器により(a media decoder)独立的に(independently) 復号化される(または消費される(consumable))ことができる伝送単位で言及されることができる。
用語「メディアプロセッシングユニット(ＭＰＵ)」は、少なくとも一つのＭＦＵを含む伝送単位として、時間情報、重要度、ランダムアクセス位置(Random Access Position:ＲＡＰ)情報のような多様な機能情報のうち少なくとも一つの情報を含む複合メディアコンテンツの伝送単位で言及されることができる。
用語「アセット」とは、少なくとも一つのＭＰＵを含む伝送単位として、ビデオ、オーディオ、テキスト、ファイル、ウィジェットなど多様な種類のマルチメディアソース、すなわちマルチメディアデータの属性に合う単位構造を受信して複合メディアコンテンツを構成する伝送単位で言及されることができる。
【００１８】
現在まで論議されたカプセル化 (Encapsulation)階層と伝送階層の動作は次の通りである。
【００１９】
まず、コーデック階層(Codec layer)で作成された符号化メディアデータ(coded media data）は、ネットワーク抽象階層単位(Network Abstraction Layer Unit，ＮＡＬＵ）で符号化され、ＭＭＴ(ＭＰＥＧ Media Transport)階層(または下位階層)に伝えられる。
【００２０】
ＭＭＴ(ＭＰＥＧ Media Transport)階層では、上記符号化されたメディアデータをＭＦＵの伝送単位で構成し、また、ＭＰＵの伝送単位で構成して一つのアセットを構成する。
【００２１】
上記アセットは、また、いくつかのアセットで構成され、それらの関係を表現するＭＭＴ−ＣＩ(Composition Information)により時／空間的に表現及び消費されるように構成されて受信側に伝送される。ＭＭＴ−ＣＩは、シグナリングメッセージ(Signaling message)を通して受信側に周期的に伝送され、受信側は、上記ＭＭＴ−ＣＩを通してどのコンテンツが放送されているか、または、再生可能であるかに対して分かるようになる。
【００２２】
受信側は、伝送階層を通して周期的に伝送される上記ＭＭＴ−ＣＩを参照して、複数のアセットのうち必要なアセットだけを抽出して使用する。
【００２３】
【表１】
2015527788.tif 000003
【００２４】
上記の＜表１＞は、現在のＭＦＵの構造を示すためのＭＦＵの構造情報を示す。ＭＦＵの構造情報はＭＦＵのヘッダ情報(ＭＦＵ_Header)で示すことができる。
【００２５】
ＭＦＵのヘッダ情報は、ＭＦＵの基本情報(ＭＦＵ_Information)とＭＦＵのインジケータ情報(ＭＦＵ_Indicator)を含む。
【００２６】
ＭＦＵの基本情報(ＭＦＵ_Information）は、ＭＦＵの長さ情報(ＭＦＵ_length)とヘッダの長さ情報(Header_length)及び、ＭＦＵが完全な（whole）ＡＵ内でどこに位置するかを示す位置情報(start_end_indicator）を含む。
【００２７】
ＭＦＵのインジケータ情報(ＭＦＵ_Indicator）は、ＭＦＵが完全なＡＵ内でどの優先順位または重要度を有するかを示す優先順位情報(priority)及びＭＦＵ自身がいくつの相異なるＭＦＵを参照するかを示す従属的なカウント情報(dependency_counter)を含む。
【００２８】
従属的なカウント(dependency_count)値は、独立的に符号化／復号化が可能な単位内で従属的なＭＦＵカウントの値である。例えば、この従属的なカウント値が「４」であると、該当ＭＦＵデータは、自身と隣接した４個の他のＭＦＵが該当ＭＦＵに従属関係(または参照関係)にあることを示す情報であることを意味する。例えば、４個の関連するＭＦＵが存在する場合、第１のＭＦＵは３のカウント値を有し、第２のＭＦＵは２の値を、第１のＭＦＵは１の値を、第４のＭＦＵは０の値を有する。上記従属的なカウントを利用すると、該当ＭＦＵデータのエラーがある場合にそのエラーが伝播される程度を示すことができる。
【００２９】
【表２】
2015527788.tif 000004
【００３０】
上記の＜表２＞は、現在のＭＰＵの構造を示すためのＭＰＵの構造情報を示す。
【００３１】
現在のＭＰＵの構造情報は、ＭＰＵの基本情報(ＭＰＵ_Information)、ＭＰＵの識別情報(ＭＰＵ_Identifier)、ＭＰＵの内部情報(ＭＰＵ_Internal)及びＭＰＵの拡張情報(private_header_flag)を含む。
【００３２】
ＭＰＵの基本情報(ＭＰＵ_Information）は、ＭＰＵの長さを示すＭＰＵの長さ情報(ＭＰＵ_length)とヘッダの長さを示すヘッダの長さ情報(header_length)を含む。
【００３３】
ＭＰＵの識別情報(ＭＰＵ_Identifier）は、ＭＰＵに任意の接近位置情報(Random  Access  Point:ＲＡＰ)が存在するか否かを示すフラグ情報(rap_flag)と該当ＭＰＵ(ＭＰＵ自身)がアセット内で何番目のＭＰＵであるかを示すシーケンス番号情報(ＭＰＵ_sequence_number)を含む。ここで、ＲＡＰは、該当ＭＰＵに対するランダムアクセス位置情報であり、上記ランダムアクセス位置情報を利用するビデオデータは、任意の再生機能を提供できる。
【００３４】
ＭＰＵの内部情報(ＭＰＵ_Internal）は、ＭＰＵを構成するＡＵの個数情報(number_of_au)とＭＰＵを構成するＡＵのそれぞれの長さ情報(au_length)を含む。
【００３５】
ＭＰＵの拡張情報(private_header_flag）は、未来の拡張のためのプライベートヘッダの長さ情報(private_header_length)とプライベートヘッダ情報(private_header)を含む。
【００３６】
【表３】
2015527788.tif 000005
【００３７】
上記の＜表３＞は現在のアセットの構造を示すためのアセットの構造情報を示す。
【００３８】
現在のアセットの構造情報は、該当アセットを識別する識別子情報 (asset_identification)、メディアタイプを示すタイプ情報(asset_type)、互換性識別のための互換性識別情報(Code point)、アセットを構成するＭＰＵの個数情報(no_of_mpu)、アセットを構成するＭＰＵのそれぞれの位置情報(ＭＰＵ_position)、該当アセットの全体長さ情報(asset_length)を含む。
【００３９】
第１の実施形態
本発明の第１の実施形態では、適応的メディア構造を提供するための効率的なＭＦＵの構造が提案される。
【００４０】
本発明の第１の実施形態によるＭＦＵの構造情報は、下記の＜表４＞に示すように、該当ＭＦＵのタイプがＡＵタイプであるかスライス(Slice)タイプであるかを区分するタイプ情報(mfu_type)を含む。
【００４１】
上記タイプ情報(mfu_type)によって、ＭＦＵがＡＵタイプであることが確認できると、ＭＦＵの構造にＡＵの属性を示す情報(ＡＵの属性情報）を提供(叙述または表現)することは非効率的である。ＡＵタイプの確認方法は、ＭＦＵが属したＡＵがＲＡＰに該当するか否か、Instantaneous Decoding Refresh（ＩＤＲ）ピクチャであるか否か及び、Clean random access（ＣＲＡ）ピクチャであるか否かのうち少なくとも一つをサーチして確認することができる。ＩＤＲピクチャとＣＲＡピクチャに対する説明は下記で記述する。
【００４２】
上記ＡＵの属性情報は、優先順位情報(Priority)及び従属カウンター情報(Dependency counter)のうち少なくとも一つの情報を含む。したがって、下記の＜表４＞に示すように、本発明の第１の実施形態によるＭＦＵ構造情報にはタイプ情報(mfu_type)が提供され、ＭＦＵのタイプがＡＵである場合、＜表１＞のＭＦＵ構造情報とは異なり、ＭＦＵの構造情報に優先順位情報(Priority)と従属カウンター情報(dependency counter)のうち少なくとも一つの情報が提供(叙述または表現)されず、ＭＦＵタイプがＡＵではない場合、またはスライスタイプである場合には、ＭＦＵの構造情報に優先順位情報(Priority)と従属カウンター情報(dependency counter)が提供(叙述または表現)される。
【００４３】
仮に、ＭＦＵがＡＵタイプでななく、ＡＵの一部分だけを構成すると、mfu_typeは下記の＜表５＞のようにＭＦＵが完全なＡＵ内のどこに位置するかを示す位置情報(start_end_indicator）の形態で提供(叙述または表現)されることができる。この場合、位置情報(start_end_indicator）の値が完全なＡＵを指示すると、mfu_typeの値がＡＵのように動作するようにすることが望ましい。
【００４４】
【表４】
2015527788.tif 000006
【００４５】
【表５】
2015527788.tif 000007
【００４６】
第２の実施形態
図１は、伝送エラーが発生した場合における伝送パケットの構造と受信パケットの構造を説明するための図である。
図１のように、伝送エラーが発生した場合、伝送エラーに強いＭＰＵ及びＭＦＵの構造設計が必要である。
【００４７】
ＭＰＵは、図１のように伝送階層における伝送過程、または、保存階層における保存過程で、一部のＭＦＵが伝送されない伝送エラーと保存エラーが発生した場合、効率的な伝送または保存のために、上記一部のＭＦＵが伝送されない状況を許可することが望ましい。
【００４８】
ＭＭＴパケットは、自動伝送要求（ＡＲＱ；Automatic Repeat request）及び順方向誤り訂正（ＦＥＣ；Forward Error Correction）を利用して多様な伝送経路上のエラーに備える。このように伝送経路上のエラーに備えるにもかかわらず、伝送失敗が発生する場合、この伝送失敗は、ＭＭＴパケット単位の伝送失敗を意味する。
【００４９】
図１及び図２に図示されるように、ＭＰＵが伝送される時、伝送階層ではＭＰＵをフラグメント化し(fragmentation)、フラグメント化されたＭＰＵを複数のＭＭＴパケットに各々載せて伝送する。したがって、一つのＭＰＵは複数のＭＭＴパケットで構成され、また一つのＭＰＵは複数のＭＦＵで構成される。
【００５０】
これは、現在の伝送階層では一つのＭＰＵが複数のＭＭＴパケットで構成される構造を提供(叙述または表現)し、一つのＭＰＵが複数のＭＦＵで構成される構造を提供(叙述または表現)しているが、ＭＭＴパケットとＭＦＵとの間の構造的な対応関係は伝送効率を考慮して定義していない。したがって、既存の伝送及び保存階層では複数のＭＭＴパケットが損失される場合に、どのＭＦＵで伝送損失が発生したか、また、ＭＦＵのどの部分からどの部分まで伝送損失が発生したかを示す伝送損失部分に対する情報を提供しない。
【００５１】
すなわち、既存のＭＰＵ構造情報では、＜表２＞のように、ＡＵの情報をオフセット(offset)、すなわち、ＭＰＵのヘッダ情報長さで提供(叙述または表現)している。したがって、伝送または保存階層における伝送エラーまたは保存エラーによりペイロード(Payload）の一部が欠落／損傷された場合、オフセットに基づいた情報は全部信頼できない情報になり、完全な状態(integrity)を確認する方法も提供しない。
【００５２】
したがって、本発明の第２の実施形態では、ＭＰＵがＭＦＵを指示する改善された方法を提案し、ＭＰＵ及びＭＦＵの完全な状態(integrity)を確認する方法を提案する。
【００５３】
上述したように、ＭＰＵは、ＡＵを構成するＭＦＵを結ぶためにオフセットを使用しているが、一部のＭＭＴパケットの欠落が発生すると、欠落されたＭＭＴパケットが載せていたＭＦＵに含まれたＡＵと関連した情報は全部無効化されなければならない。したがって、オフセットよりはＡＵを構成するＭＦＵの個数を提供することが必要である。
【００５４】
下記の＜表６＞は、ＭＰＵでＡＵを構成するＭＦＵの個数情報が含まれたＭＰＵの構造情報の一例を示す。
【００５５】
【表６】
2015527788.tif 000008
【００５６】
この場合、全体ＭＦＵの個数が表現されたものと異なると、欠落されたＭＦＵがあることが分かる。しかし、この場合に、仮に第３のＭＦＵが欠落されると、ペイロード内のＭＦＵに対する分析だけではどのＭＦＵが欠落されたか依然として分からないという短所がある。
【００５７】
したがって、＜表７＞のように、ＭＦＵは、自身を識別する識別情報(mfu_id)を含み、＜表８＞のようにＭＰＵでは、ＡＵ毎にどのＭＦＵを含むかを叙述することが必要である。下記の＜表７＞は、Mfu_idが適用されたＭＦＵの構造情報を示し、下記の＜表８＞は、Mfu_idを指示するＭＰＵのＡＵ情報を示す。
【００５８】
【表７】
2015527788.tif 000009
【００５９】
【表８】
2015527788.tif 000010
【００６０】
上記の＜表８＞のように作成すると、中間に任意のＭＦＵが欠落されてもＡＵの情報が有効であるという長所がある。
【００６１】
第３の実施形態
伝送エラーによりＭＦＵの欠落がある場合、その欠落がＭＦＵ単位で発生する時とＭＦＵの境界を維持せずに発生する時を区分しなければならない。欠落がＭＦＵ単位で発生する時にはＭＦＵの識別情報を使用して、どのＡＵに属するＭＦＵが欠落されたのか感知することができる。しかし、図１のようにＭＦＵの一部分、例えば、ヘッダ情報が欠落された時にはＭＦＵのパーシング（Parsing）において問題が発生する。
【００６２】
このようにＭＦＵの一部分が欠落された時にこれを感知し、次の有効(valid)なＭＦＵを探すためにはスタートコード(start code)とエラー検出コード（ＥＤＣ）の使用が要求される。
【００６３】
下記の＜表９＞は、スタートコードを使用してＭＦＵの境界を感知し、ＥＤＣを使用して有効性（validity）を検証する例を示す。
【００６４】
【表９】
2015527788.tif 000011
【００６５】
図２は、本発明の第３の実施形態によるＥＤＣとスタートコードを使用した動作を示す。
【００６６】
図２で伝送されたパケットのうち赤色陰影処理した区間２１０に該当するＭＭＴパケットに伝送エラーが発生した場合を仮定している。この時、ＭＦＵ１の中間からＭＦＵ ２の中間までがＭＭＴパケット損失により欠落された部分である。したがって、受信側はＭＦＵ１のヘッダ及びペイロードの一部とＭＦＵ ２のペイロードの一部で構成されるＭＦＵ１’を有する受信パケットを受信するようになる。
【００６７】
受信側におけるＭＰＵ処理過程は、ＭＦＵ１のヘッダ情報のうちＥＤＣを読み取り、ＭＦＵ１の長さほどのデータに対してエラー検出プロセスを実行する。エラー検出プロセスによる結果値とＥＤＣ値を比較すると、異なる値を有するため、ＭＦＵ１はエラーが発生したことが分かる。問題になるＭＦＵ１に対する処理を保留して、次のＭＦＵを探すために予想されるＭＦＵ１の終了地点から以前及び以後に対してstart_codeの探索を実行する。start_codeは約束されたパターンを有する値であって、００ ００ ０１Ｂまたは「Ｍ」「Ｆ」「Ｕ」のように反復する確率が低いパターンから決定され使用される。探索を実行してstart_codeを発見し、以後のＥＤＣを使用することでエラー検出プロセスを実行して、有効なＭＦＵであることが確認されると、該当ＭＦＵのmfu_idを認知して、どのＭＦＵが欠落または損失され、どのＭＦＵが有効であるかが分かる。
【００６８】
第４の実施形態
ＭＰＵは、以前のＭＰＵと以後のＭＰＵに対するアクセスなしに独立的にプロセシング(または符号化及び復号化)できる単位である。
アセットは複数のＭＰＵで構成されて、各アセットのアセットヘッダにはＭＰＵの個数とＭＰＵの長さなどが含まれる。
【００６９】
しかし、放送を考慮すると、アセットは無限に長い長さを有してもよい。放送の中間に聴取を開始する場合、アセットのヘッダを探してアクセスした後に、また、現在放送時点に該当するＭＰＵを探さなければならない。このような点を考慮すると、アセットの構造情報にアセットがどのＭＰＵを含むかを示す情報を提供(叙述または表現)することより、ＭＰＵの構造情報にＭＰＵがどのアセットに含まれるかを示す情報を提供(叙述または表現)することがはるかに効率的である。また、ＭＰＵの構造情報にＭＰＵが再生のために必要な初期化情報を提供することが効率的である。
【００７０】
したがって、＜表３＞において、アセットヘッダが有している情報のうち識別子(asset_identification）はＭＰＵの構造情報に含めることが望ましい。asset_type及びasset_codepointは、アセットを消費する前に判断の根拠として使用する情報であるため、ＭＭＴ−ＣＩに含めることが望ましい。
【００７１】
no_of_mpu、ＭＰＵ_position及びasset_lengthは、ファイルで保存されない限り意味がない値であって、アセットで分離してＭＭＴ Packageをファイルで保存する時に叙述する情報のうちの一つとして含めることが望ましい。
【００７２】
したがって、ＭＰＵが＜表１０＞のように構成されると、図３の最上側に示されたように複数のＭＰＵが多様なメディアタイプのアセットで各々混合された時、同じアセット識別子(asset_id)を有するＭＰＵを集めて、集められたＭＰＵの各シーケンス番号(sequence_number)を利用して集められたＭＰＵの前後関係(または順序)を把握できる。
【００７３】
【表１０】
2015527788.tif 000012
【００７４】
図３は、本発明の第４の実施形態によるＭＰＵ内のアセット識別子とシーケンス番号を利用した論理的アセット構成を示す。
【００７５】
図３のように、アセット識別子(asset_id)とＭＰＵのシーケンス番号(sequence_number)に付加でパッケージの識別子を使用すると、ＭＰＵはＣＤＮ及びキャッシュ（Cache）など、ネットワークノードで独立的に保存されて伝送される単位で使用されることができる。
【００７６】
第５の実施形態
本発明の第５の実施形態は、ＭＰＵの構造情報に時間メディア伝送のための付加情報を提供することに関する。この場合、ＭＰＵは時間属性または非時間属性のメディアを伝送／保存するための単位で利用される。
【００７７】
ＭＰＵが伝送するメディアの種類を区別するために、下記の＜表１１＞のように、第１の実施形態におけるＭＰＵのタイプ情報にＭＰＵ_typeの時間属性(ＮＯＮ＿ＴＩＭＥＤ）を示す情報が提供される。ＭＰＵのヘッダ情報は、ＭＰＵ_typeによって時間メディアの特徴情報、非時間メディアの特徴情報を含むため、ＭＰＵ_typeの使用は効率的なヘッダ構造のために必要な情報である。
【００７８】
【表１１】
2015527788.tif 000013
【００７９】
上記の＜表１１＞は、時間属性の情報が付加されたＭＰＵのタイプ情報を示す。
【００８０】
仮に、ＭＰＵを構成するメディアデータが一つまたは複数のＡＵで構成された時間メディアである場合、ＭＰＵ_typeは「ＡＵ＿ＳＥＴ」で表現され、ＭＰＵを構成するメディアデータが非時間メディアである場合、ＭＰＵ_typeは「ＡＵ＿ＳＥＴ」及び「ＮＯＮ＿ＴＩＭＥＤ」で表現される。
【００８１】
既存のＭＰＵの構造情報はＡＵの時間値に関連する情報を表現しないため、ＭＰＵ_typeがＡＵ_SETである場合、含まれているＡＵの時間値を提供することが必要である。
【００８２】
ＡＵの時間値に関連する情報は、プレゼンテーション時間(presentation time）と関連した情報及びデコーディング時間(decoding time）と関連した情報などを考慮し、付加的にデコーディングオーダ(decoding order)と関連した情報及びプレゼンテーションデュレーション(presentation duration）と関連した情報などをさらに考慮することができる。
【００８３】
ＡＵの配列構造は、一定の時間間隔で配列される構造と任意の時間間隔で配列される構造に分かれる。プレゼンテーション時間の間隔はデュレーションで表現されることができるため、プレゼンテーション順序で配列されたＡＵの時間表現及び間隔はデフォルトデュレーションで表現されることができる。
【００８４】
下記の＜表１２＞は、一定の時間間隔で配列されるＡＵの構造情報が含まれたＭＰＵの構造情報の一例を示し、下記の＜表１３＞は、任意の時間間隔で配列されるＡＵの構造情報が含まれたＭＰＵの構造情報の一例を示す。
【００８５】
下記の＜表１２＞のように、任意の時間間隔配列を表現するためにはデフォルトデュレーションが０であると、ＡＵごとにデュレーションを提供するようにフィールドをon／off方式で表現できる。
【００８６】
下記の＜表１３＞のようにデフォルトデュレーションの他に付加的に任意のＡＵに対するデュレーション(ARBITRARY_DURATION）を表現するフラグ(duration_flag)が提供されると、該当ＡＵは別途のデュレーションで表現され、余りのＡＵは default_durationで表現されることができる。
【００８７】
【表１２】
2015527788.tif 000014
【００８８】
【表１３】
2015527788.tif 000015
【００８９】
ＡＵの順序情報(order_of_au）はプレゼンテーション順序情報(presentation_order)とデコーディング順序情報(decoding_order)、また、任意の順序情報(UNKNOWN)を考慮することができる。ここで、プレゼンテーション順序はＧＯＰ(Group of picture)内のIntra（Ｉ）picture、Bi-predictive（Ｂ）picture、Predictive（Ｐ）pictureの再生順序を意味し、デコーディング順序はＩピクチャ、Ｂピクチャ、Ｐピクチャのコーディング順序を意味する。ＧＯＰは複数のピクチュアを一つのグループで結んだ単位を意味する。Ｉピクチャ、Ｂピクチャ、ＰピクチャはＧＯＰ階層で使用される用語として、Ｉピクチャは前後のピクチャとは関係なく独立的に符号化して獲得されるピクチャであり、Ｐピクチャは画面間の順方向予測符号化により獲得されるピクチャである。Ｂピクチャは過去と未来の両方向からの予測符号化により獲得されるピクチャである。
【００９０】
本発明の第５の実施形態によるＭＰＵの構造情報には、ＡＵの順序がプレゼンテーション順序で配列された場合、デコーディング順序情報(decoding_order)が別途に提供され、ＡＵの順序がデコーディング順序で配列された場合、プレゼンテーション順序情報(presentation_order)が別途に提供される。また、ＡＵの順序が任意の順序で配列された場合、デコーディング順序情報(decoding_order)とプレゼンテーション順序情報(presentation_order)が別途に提供される。
【００９１】
あるＡＵは、他のＡＵとの従属的関係によって以前ＡＵのデコーディング無しに再生可能なＲＡＰ(Random Access Point)を含む場合があるため、これに対する表現はＲＡＰ_flagを通して提供される。
【００９２】
【表１４】
2015527788.tif 000016
【００９３】
上記＜表１４＞は、多様なＡＵ配列による順序情報提供に関し、ＡＵの個数が一つより多い場合のＡＵ間の順序に対する付加情報を提供する方法を提案している。仮にＡＵが一つであると、他のＡＵとの関係で発生する順序値は成立しない。
【００９４】
上述したorder_of_ＡＵとpresentation_orderまたはdecoding_order_orderを組み合せると、図４乃至図７のようにＭＰＵ内でＡＵの時間に関連する構造情報を全て表現できる。
【００９５】
図４は、本発明の第５の実施形態によるInstantaneous decoding refresh（ＩＤＲ）ピクチャとＢ，Ｐピクチャがデコーディング順序で配列されたクローズドＧＯＰでプレゼンテーション情報提供方法を示している。ここで、クローズドＧＯＰは、以前のＧＯＰに従属されず独立的にコーディングされ、再生されるＧＯＰを意味する。
【００９６】
本発明で提案するＡＵの時間に関連する構造情報の表現方法は、ＡＵの順序種類(DECODING＝Decoding順序で配列)、各ＡＵのPresentation_order番号、ＲＡＰが存在するか否かを提供する。
【００９７】
したがって、図４のようにデコーディング順序で配列されたクローズドＧＯＰ(Group Of Pictures）は、図１８の下記のようにプレゼンテーション順序で再配列可能であり、ＲＡＰからの再生も可能である。
【００９８】
図５は、本発明の第５の実施形態によるＩＤＲピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたクローズドＧＯＰでデコーディング順序情報提供方法を示す。ＩＤＲ ピクチャは、映像シーケンスの先頭ピクチャとして、ピクチャビット列を復号化するために参照ピクチャのバッファー状態、フレーム番号、ピクチャの出力順序を表示する情報などを初期化するために利用される。
【００９９】
図５の上のように、プレゼンテーション順序で配列されたクローズドＧＯＰは、図５の下記のようにデコーディング順序で再配列が可能であり、ＲＡＰからの再生も可能である。
【０１００】
図６は、本発明の第５の実施形態によるClean random access（ＣＲＡ）ピクチャとＢ，Ｐピクチャがデコーディング順序で配列されたオープンＧＯＰでプレゼンテーション順序情報提供方法を示す。ここで、オープンＧＯＰは、現在のＧＯＰが以前のＧＯＰに従属され、従属的に圧縮されて再生されるＧＯＰを意味する。
【０１０１】
図６を参照すると、図６の上記のようにデコーディング順序で配列されたオープンＧＯＰは、図６の下記のようにプレゼンテーション順序で再配列が可能であり、ＲＡＰからの再生も可能である。
【０１０２】
Ｂ４とＢ５はいわゆる先頭ピクチャ（leading picture）であって、ＣＲＡ６に比べてデコーディング順序は遅いが、プレゼンテーション順序が先立つため、ＲＡＰが存在するか否かとプレゼンテーション順序、デコーディング順序を考慮すると、デコーダに該当ピクチャを入力値として伝達する前に、該当ピクチャ(Ｂ４、Ｂ５)をデコーダに入れないか又はデコーディングはするが使用はしない、などの判断をすることが可能である。
【０１０３】
図７は、本発明の第５の実施形態によるＣＲＡピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたオープンＧＯＰでデコーディング順序情報提供方法を示す。図７を参照すると、図７の上記のようにプレゼンテーション順序で配列されたオープンＧＯＰは、図７の下記のようにデコーディング順序で再配列が可能であり、ＲＡＰからの再生も可能である。
【０１０４】
第６の実施形態
本発明の第６の実施形態は、ＭＰＵの独立的に使用のためのデコーダ設定情報に関する。
【０１０５】
ＭＰＵは、前後のＭＰＵに対するアクセス無しに独立的に使用されることができる単位である。したがって、ＭＰＵが有しているＡＵに対するデコーダ設定情報を含んでいることが望ましい。したがって、デコーダ設定情報は、ＭＰＵのタイプがＡＵである場合はＭＰＵの構造情報に提供され、時区間によって複数個のデコーダ設定情報が提供される場合は、該当デコーダ設定情報が適用されるＡＵの付加情報として提供されることが望ましい。
【０１０６】
【表１５】
2015527788.tif 000017
【０１０７】
上記の＜表1５＞は、デコーダ設定情報を提供するＭＰＵのヘッダ構造を図示している。
【０１０８】
デコーダ設定情報は、ＳＰＳ(Sequence Parameter Set)、ＰＰＳ(PictureＰarameter Set)、ＤＣＴ、運動ベクトルなどの情報を含み、該当情報はＮＡＬ Unitの連続された列の形態で提供される。ここで、ＳＰＳは、シーケンス全体の符号化に使用される情報を含む情報であり、ＰＰＳはピクチャ全体の符号化モード、例えば、エントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値などを示す情報である。
【０１０９】
したがって、下記の＜表１６＞のように、本発明によるＭＰＵをＲＡＰから任意アクセスする場合は、図８のような順序でデコーディングプロセスを処理することが提案される。
【０１１０】
【表１６】
2015527788.tif 000018
【０１１１】
図８は、本発明の第６の実施形態によるＭＰＵ構造で再生しようとする時点を探して再生する方法を示す。
【０１１２】
図８を参照すると、ＭＰＵで再生しようとする時点を探すプロセスまたは再生装置は、８１１で、まず、ＭＰＵのアセットＩＤとシーケンス番号を検討して再生しようとする時間を有するＭＰＵであるか否かを確認する。
【０１１３】
その次に、８１３で、ＭＰＵ_typeを確認し、８１５で、ＭＰＵ_typeがAU_SETタイプであるか否かを確認する。上記８１５でＭＰＵ_typeがAU_SETであると８１７でＡＵの個数(number_of_au)を確認する。
【０１１４】
８１９で、仮にＡＵの個数が１であると、ＭＭＴ-ＣＩで指示するＭＰＵの開始時間がすなわちＡＵの開始時間であるから、これ以上の検索を進行せずに終了する。上記８１９で、仮にＡＵの個数が２個以上であると、８２１で、ＡＵがどの順序で配列されたかを確認し、８２３でＡＵ長さを確認する。
【０１１５】
８２５で、ＡＵ長さの和は、ＭＰＵ構造で再生しようとする時点の終わりを表し、ＡＵの最初又は与えられた部分から再生可能なＡＵをアクセスしようとする位置であるか否かを判断する。
【０１１６】
ＡＵがプレゼンテーション順序であると、ＡＵのデュレーションを順に加えることで再生をしようとする位置のＡＵを探すことができ、ＡＵがデコーディング順序やunknownであると、プレゼンテーション順序に変換させることで、再生を所望する位置のＡＵを探すことが必要である。
【０１１７】
次に、ＡＵを検索する過程で、８２７でＡＵがＲＡＰであるか否かを判断する。ＡＵがＲＡＰであると、８２９で、今後の使用のために最も近接したＲＡＰとしてＡＵの番号を保存する。ＡＵがＲＡＰではないと、検索した以後のＡＵから該当ＡＵの長さを追加する。
【０１１８】
８２５、８２７、８２９及び８３１ステップを反復すると、８３５で、再生しようとする時間に該当するＡＵの番号が分かり、８１２で、仮に、このＡＵがＲＡＰでないと、８３７で最も近接した位置のＲＡＰ番号から再生を開始する。
【０１１９】
第７の実施形態
本発明の第７の実施形態は、ＭＰＵの非時間メディア伝送のためのメタ情報に対する。
ＭＰＵが非時間メディアを伝送する場合、ＭＰＵには一つまたはそれ以上の非時間メディアが含まれることができ、該当メディアをファイルとして処理する。
ファイルは名前とサイズ情報を提供する。
【０１２０】
ファイルは、特性上、データ損失に敏感であるためＥＤＣ情報を提供する。損失を許可しないため、AU_SETとは異なりオフセットとサイズに基づいてＭＰＵペイロード内のファイルの開始と終わりを示してもよい。下記の＜表１７＞はファイルを伝送するＭＰＵヘッダ構造を示す。
【０１２１】
【表１７】
2015527788.tif 000019
【０１２２】
第８の実施形態
本発明の第８の実施形態では、本発明で提案されたＭＦＵとＭＰＵをＭＰＥＧ−４で使用しているＩＳＯ Base Media File Format(ＩＳＯＦＦ）を活用して表現する方法に対して提案する。
【０１２３】
ＩＳＯＦＦは、ＭＦＵに該当する単位、すなわちサブサンプル単位で符号化されたメディアを保存または伝送しないが、符号化されたメディアを示すために全体トラックまたはフラグメントの単位でサブサンプルの情報は表現している。したがって、サブサンプルの情報を表現する方法をＩＳＯＦＦで取って、表現する方法に対して議論する。
【０１２４】
【表１８】
2015527788.tif 000020
【０１２５】
上記＜表１８＞は、現在のＩＳＯＦＦのsubs Box(SubSampleInformationBox）の構造を示す。
【０１２６】
上記＜表１８＞は、ＩＳＯＦＦでサブサンプルの情報を表現する方法である‘subs’Boxである。図示したように、一つのsubsボックスは一つのトラックの全体、または一つのフラグメントの全体サンプルが有するサブサンプルの構造に対するテーブルを提供する。
【０１２７】
しかし、ＭＭＴのＭＦＵは、各ＭＦＵが優先順位情報やdependency_counterなどに基づく判断によって削除されることができるように設計されたため、トラック全体やフラグメント全体に対する一つのテーブルはＭＦＵの削除を不可能にする。
【０１２８】
したがって、図９のようにmfu_Boxを作って、毎mfu_Boxごとにsubsが一つずつ含まれるように構成することが望ましい。図９は、本発明の第８の実施形態によるＭＰＵボックスの構造を示す。
従来ＭＦＵの構造によってmfu_Boxは下記の＜表１９＞のように構成される:
【０１２９】
【表１９】
2015527788.tif 000021
【０１３０】
上記＜表１９＞はmfu_Boxのsyntaxを示す。＜表１９＞でmfu_idはＭＦＵの識別子であり、ＭＰＵ内で唯一の値を有する。mfu_idの値は意味ある値の組合または一定のサイズで増加する値などが可能である。
【０１３１】
SubSampleInformationBoxはsubs Box(＜表２０＞）で、ＭＦＵの目的に合せて使用するために、次のようにその値を制限(restrict)して使用する。
【０１３２】
【表２０】
2015527788.tif 000022
【０１３３】
上記＜表２０＞はサブサンプルInformationBoxを示す。
【０１３４】
＜表２０＞でversionが１である場合、サブサンプルの優先順位を示すことができないため、versionは０に固定されなければならない。entry_countはsubsが示すサブサンプルの個数であり、MFU-subsは各々一つずつペア構造を有するためentry_countの値は常に１に固定されなければならない。
【０１３５】
entry_deltaは以前に表現したサンプル対比、現在表現するサンプルの間の個数の差であるため、一つのサンプルに対して、複数のMFU-subspairが存在する場合、entry_deltaの値は０である。Subsample_countもMFU-subsは各々一つずつペア構造を有するため常に１に固定されなければならない。Subsample_sizeはＭＦＵが含むデータ、すなわち符号化されたメディアのサイズを示す。(図９でdataBoxのサイズ)
【０１３６】
一方、dependency_counterに該当する値がないため、reservedである３２ビットはdependency_counterにその値を割り当てる。
【０１３７】
第９の実施形態
上記で説明した第８の実施形態の他の方法であって、ＭＦＵの構造は図１０と同一である。
【０１３８】
図１０は、本発明の第９の実施形態によるmfu_Boxの構造を示す。
上記説明した第８の実施形態と異なる点は、データボッスがmfu_Box内に含まれているか否かである。
【０１３９】
単純にデータがmfu_Boxの外側に存在すること以外に、ＭＦＵのオペレーションの上、一つのMFU-datapairが正常に削除されるようにするためには、どのmfu_Boxとどのデータボッスがペアであるかに対する情報が提供されなければならない。
【０１４０】
したがって、mfu_Boxに存在する情報のうち、subs Boxのsubsample_size情報とデータボッスのサイズが同一である場合、ペアであると認知してＭＦＵ削除する時、サイズを確認する段階を経ることが望ましい。
【０１４１】
すなわち、 mfu_Boxとデータボッスを必要によって削除する時には、mfu_Box内のsubsBox内のsubsample_sizeがデータボックスのサイズと一致するか否かを確認して、サイズが一致する場合にはペアと認知してmfu_Boxとデータボックスを削除する。サイズが異なる場合には、ＭＰＵ内にサイズが一致する他のデータボックスがあるか確認する段階を経ることが望ましい。
【０１４２】
第１０の実施形態
本発明の第１０の実施形態では本発明の第８の実施形態と同一の目的で、ＩＳＯＦＦを活用してＭＰＵを表現する方法に対して提案する。
【０１４３】
ＩＳＯＦＦはＭＰＵのＡＵに該当する単位、すなわちフラグメント内のサンプル単位で表現する方法を有する。しかし、ＭＰＵが有する全ての情報を表現していないため、既存の表現方法のうちtfhd、trun Boxを活用して、これを拡張する方法に対して提示する。
【０１４４】
現在のtfhd Boxの構造は下記の＜表２１＞の通りである:
【０１４５】
【表２１】
2015527788.tif 000023
【０１４６】
＜表２１＞は現在のＩＳＯＦＦのtfhd Box(TrackFragmentHeaderBox）の構造を示す。上記＜表２１＞は、ＩＳＯＦＦのフラグメントでtrunが表現するサンプルの基本値(default value)を指定するtfhd Boxである。＜表２１＞の内容のうち、base_data_offsetからdefault_sample_flags までのフィールドは、tf_flags値によってon／offされるoptional fieldで、ＭＰＵの default_duration_of_au をtfhdのdefault_sample_durationで示す。したがって、tf_flagsはＭＰＵで使用される時に0x000008を必ず有するようにする。
現在のtrun Boxの構造は下記の＜表２２＞の通りである:
【０１４７】
【表２２】
2015527788.tif 000024
【０１４８】
上記＜表２２＞は、現ＩＳＯＦＦのtrun(TrackRunBox)Boxの構造を示す。
【０１４９】
上記＜表２２＞で一つのtrun Boxはフラグメント内のサンプルに対する情報を提供する。ＭＰＵの情報のうちtrunを使用して示すことができる情報はnumber_of_au、presentation_order、duration_of_auなどがある。このうちnumber_of_auはsample_countを使用して示し、presentation_orderとduration_of_auは結合してsample_composition_time_offsetを使用して示すことが望ましい。
【０１５０】
一方、decoding_orderとnumber_of_mfu、Mfu_idはtrunで表現していないため、decoding_orderはsample_decoding_orderで表し、number_of_mfuとMfu_idは開始mfuのＩＤと終了mfuのＩＤを示すことに表現を変えてsubsample_start_id、subsample_end_idで表現することを提示する。
【０１５１】
decoding_orderとsubsample_start_id、subsample_end_idをoptional fieldとして提供するために、本発明ではtf_flagsを下記のように拡張することを提案する:
【０１５２】
0x001000 decoding-order-present:each sample in trun has its decoding order，otherwise samples are aligned in decoding order.
0x002000 subsample-start/end-id-present:each sample consists of subsample from subsample_start_id to subsample_end_id. It refers mfu_id in mfu_box.
【０１５３】
tf_flagsの値に0x1000が含まれる場合、decoding_orderが存在し、含まれない場合ＡＵはデコーディング順に整列されなければならない。
【０１５４】
tf_flagsの値に0x2000が含まれる場合、ＡＵを構成するＭＦＵのＩＤはsubsample_start_idとsubsample_end_idを使用して指示する。subsample_start_idとsubsample_end_idが指示する値は、ＭＦＵのmfu_id値である。ＭＰＵでtrun Boxを使用する時にはtf_flagsの値のうち0x2000は常に使用されることが望ましい。
したがって、trun Boxは下記の＜表２３＞のように拡張されることが提案される:
【０１５５】
【表２３】
2015527788.tif 000025
【０１５６】
上記＜表２３＞は拡張されたtrun Boxを示す。＜表２３＞でtrunやtfhdで表現していないＭＰＵの情報には、asset_id、ＭＰＵ_sequence_number、parameter_setなどがある。
【０１５７】
asset_id、ＭＰＵ_sequence_numberはＭＭＴの構成要素としてＭＰＵが動作するようにするための情報であるため、ＭＰＵ_Boxを新しく定義して含めることが望ましい。
【０１５８】
またパラメータセットの情報は、多様なコーデックによってその表現方式が異なるため、拡張性を有するようにするためにタイプによってそのデータの内容や形式が変わることができるようにDecoder Configuration Initialization Informationを定義して下記の＜表２４＞のように示すようにする:
【０１５９】
【表２４】
2015527788.tif 000026
【０１６０】
上記＜表２４＞はDecoder Configuration Initialization Informationを示す。したがって、ＭＰＵは図１１のような構造を有する:
【０１６１】
図１１は、本発明の第１０の実施形態によるＭＰＵ_Boxとmfu_Boxの構造を示す。
図１１のＭＰＵ_Boxの実際syntaxは下記の＜表２５＞のようである。
【０１６２】
【表２５】
2015527788.tif 000027
【０１６３】
上記＜表２５＞は、ＭＭＴProcessingBoxを示す。＜表２５＞でasset_idは、該当ＭＰＵが属するアセットのＩＤを指示する。ＭＰＵ_sequence_numberはアセット内の以前ＭＰＵから１増加した値が該当ＭＰＵのシーケンス番号となる。  DecoderConfigurationInitializationInformation、TrackFragmentHeaderBox、TrackRunBoxは上記で説明した通りである。
【０１６４】
図１２は、本発明の実施形態によって適応的メディア構造を生成して伝送する送信装置の構成を示すブロック図である。
【０１６５】
図１２で送信装置１２００は、入力部１２１０、保存部１２２０、伝送部１２３０及び制御部１２４０を含む。また、送信装置１２００は、本発明の実施形態によって図２乃至図１１で説明したＭＰＵ構造、伝送パケットと受信パケットの構造、論理的アセット構造、クローズドＧＯＰにおけるプレゼンテーション情報提供方法及びデコーディング順序情報提供方法、オープンＧＯＰにおけるプレゼンテーション情報提供方法及びデコーディング順序情報提供方法、ＭＰＵボックスの構造、ＭＰＵ_Boxとmfu_Box構造を含む適応的メディア構造をサポートする。このような送信装置１２００は、上記適応的メディア構造によって伝送単位を決定し、上記決定された伝送単位によって少なくとも一つのマルチメディアソースをＭＰＵ、ＭＦＵ、アセットまたはパッケージの伝送単位で構成して伝送する。
【０１６６】
図１２で、入力部１２１０は、複合メディアコンテンツを生成するためのマルチメディアソースとして多様な種類のマルチメディアデータを受信する。保存部１２２０は本発明で提案されたＭＰＵ、ＭＦＵ、アセットの構成方法によって生成されたアセットを保存する。伝送部１２３０は所定の通信網を通して上記アセットを伝送する。制御部１２４０は、少なくとも一つのマルチメディアデータ(ソース)を適応的メディア構造で生成するために、本発明で提案するＭＦＵ、ＭＰＵそしてアセットの生成と伝送のための全般的な制御を実行する。
【０１６７】
図１３は、本発明の実施形態によってメディアコンテンツを受信する受信装置の構成を示すブロック図である。
【０１６８】
図１３で受信装置１３００は、受信部５０１、マルチメディアソース読込み部５０３、マルチメディアソース保存部５０５、表示部５０７及び制御部５０９を含む。
【０１６９】
また、図１３における受信装置は、図２乃至図１１で説明した適応的メディア構造をサポートし、このような適応的メディア構造の伝送単位で受信されたメディアコンテンツの復号を実行する。
【０１７０】
図１３で受信部１３１０は、多様なマルチメディアデータ(ソース)によるＭＰＵとＭＦＵを含むアセットを所定の通信網を通して受信し、アセットに含まれた各種情報(適応的メディア構造に関連する情報）は制御部１３４０に伝えられて複合メディアコンテンツの受信制御と復号に利用される。
【０１７１】
また、制御部１３４０は、上記ＭＦＵに対する情報と上記ＭＰＵに対する情報を利用して複合メディアコンテンツの受信及び復号と関連した全般的な制御を実行する。
【０１７２】
また、制御部１３４０は、マルチメディアソースのデータタイプを読み込み、読み込まれた各マルチメディアソースをマルチメディア保存部１３２０に区分して保存する。また、制御部１３４０は、アセットの受信とマルチメディアソースの読込み及び復号のための全般的な制御を実行し、復号されたマルチメディアソースのデータは表示部１３３０を通して出力される。
【０１７３】
一方、本発明の詳細な説明では具体的な実施形態に関して説明したが、本発明の範囲を逸脱しない範囲で多様な変形が可能であることは明らかである。したがって、本発明の範囲は説明された実施形態に限定されず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものにより定義されなければならない。
【符号の説明】
【０１７４】
１２００  送信装置
１２１０  入力部
１２２０  保存部
１２３０  伝送部
１２４０  制御部
１３００  受信装置
１３１０  受信部
１３２０  保存部
１３３０  表示部
１３４０  制御部
【図１】
2015527788.tif 000028
【図２】
2015527788.tif 000029
【図３】
2015527788.tif 000030
【図４】
2015527788.tif 000031
【図５】
2015527788.tif 000032
【図６】
2015527788.tif 000033
【図７】
2015527788.tif 000034
【図８】
2015527788.tif 000035
【図９】
2015527788.tif 000036
【図１０】
2015527788.tif 000037
【図１１】
2015527788.tif 000038
【図１２】
2015527788.tif 000039
【図１３】
2015527788.tif 000040
【国際調査報告】
2015527788.tif 000041
2015527788.tif 000042
2015527788.tif 000043
2015527788.tif 000044
2015527788.tif 000045
2015527788.tif 000046