(57)【要約】      （修正有）【課題】マルチメディアシステムにおけるメディアパケット処理方法を提供する。【解決手段】方法は、メディアデータに基づいて生成された一つまたは複数のサブユニットまたは分割されたサブユニットを含むペイロードを構成するステップと、ペイロードを含むメディアパケットを送信するステップと、を含む。ペイロードは、復号処理がサブユニットに依存するサブユニットの数を示す情報と、サブユニットが属するデータユニット内での前記サブユニットの優先順位を示す情報とを含む。メディアパケット処理方法において、サブユニットを復号処理しないと、依存するサブユニットは復号処理できない。【選択図】図７
2019165456.tif 000002
【特許請求の範囲】
【請求項１】
メディアパケットを送信する方法であって、
メディアデータに基づいて生成された一つまたは複数のサブユニットまたは分割された(fragmented)サブユニットを含むペイロードを構成するステップと、
前記ペイロードを含む前記メディアパケットを送信するステップと、
を含み、
前記ペイロードは、復号処理が前記サブユニットに依存する少なくとも一つのサブユニットの数を示す依存数情報を含むことを特徴とするメディアパケット送信方法。
【請求項２】
前記ペイロードは、前記ペイロードに含まれた前記サブユニットのデータの分割状態を示す情報を含むことを特徴とする請求項１に記載のメディアパケット送信方法。
【請求項３】
前記メディアデータは時間基盤メディアデータを含むことを特徴とする請求項１に記載のメディアパケット送信方法。
【請求項４】
メディアパケットを送信する装置であって、
メディアデータに基づいて生成された一つまたは複数のサブユニットまたは分割された(fragmented)サブユニットを含んで構成されたペイロードを構成する制御器と、
前記ペイロードを含む前記メディアパケットを送信する送信器と、
を含み、
前記ペイロードは、復号処理が前記サブユニットに依存する少なくとも一つのサブユニットの数を指示する依存数情報を含むことを特徴とするメディアパケット送信装置。
【請求項５】
前記ペイロードは、前記ペイロードに含まれた前記サブユニットのデータの分割状態を示す情報を含むことを特徴とする請求項４に記載のメディアパケット送信装置。
【請求項６】
前記メディアデータは、時間基盤メディアデータを含むことを特徴とする請求項４に記載のメディアパケット送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアシステムにおけるメディアパケット処理方法に関する。
【背景技術】
【０００２】
インターネット及び通信ネットワークで利用可能なマルチメディアコンテンツの増加及び最近の技術の発達によって、単一又は２個以上のマルチメディアソースが使用され始めた時期に、見聞き、使用、及び消費のために多様なタイプのマルチメディアコンテンツを含むハイブリッドメディアコンテンツが登場した。ハイブリッドメディアコンテンツは、多様なタイプのマルチメディアコンテンツを含む。このハイブリッドメディアコンテンツは、生成時に個別的なマルチメディアコンテンツに分離されて生成される。
【０００３】
例えば、ハイブリッドメディアコンテンツは、ビデオデータ、画像データ、音声データ、及び特定の動画像を含むハイブリッドメディアコンテンツであるイメージを構成するためのウィジェットのようなアプリケーションで実現され、各メディアの特性に従って画像信号の符号化方法、音声信号の符号化方法、ファイル圧縮方法、又は他の類似データ生成方法を通じて生成され、それぞれのマルチメディアコンテンツは受信側でハイブリッドメディアコンテンツとして再構成される。
【０００４】
上記したように、従来のハイブリッドメディアコンテンツは、送信側で複数のマルチメディアコンテンツに分類されて受信側に提供される。受信側は分類された複数のマルチメディアコンテンツを再構成してハイブリッドメディアコンテンツを生成する。ハイブリッドメディアコンテンツの使用は、分類された複数のマルチメディアコンテンツの分類と再構成を通じて提供される。しかしながら、ハイブリッドメディアコンテンツの使用が増加することによって、より効率的にハイブリッドメディアコンテンツを生成、送信、及び/又は受信する方法が要求される。
【０００５】
したがって、コンピュータ又はユーザーインタフェースから自己診断を手動で選択する場合の不便さなしにデバイスの自己診断を遂行するシステム及び方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、多様な伝送単位を用いてメディアコンテンツを效率的に送受信する方法及び装置を提供することにある。
【０００７】
本発明の他の目的は、多様なマルチメディアデータを含むハイブリッドメディアコンテンツを該当マルチメディアデータに適合した伝送単位を用いて送受信する方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記のような目的を達成するために、本発明の一態様によれば、マルチメディアシステムにおけるメディアコンテンツを伝送する方法が提供される。その方法は、メディアコンテンツに関連した少なくとも一つのマルチメディアソースを伝送するための伝送単位を決定するステップと、決定された伝送単位に従ってヘッダー情報と少なくとも一つのマルチメディアソースを含むデータストリームを生成するステップと、データストリームを通信ネットワークを介して伝送するステップとを有する。
【０００９】
本発明の他の態様によれば、マルチメディアシステムにおけるメディアコンテンツを伝送する装置が提供される。その装置は、データストリームを通信ネットワークを介して伝送する送信部と、メディアコンテンツに関連した少なくとも一つのマルチメディアソースを伝送するための伝送単位を決定し、決定された伝送単位に従ってヘッダー情報と少なくとも一つのマルチメディアソースを含むデータストリームを生成し、生成されたデータストリームの伝送を制御する制御部とを含む。
【００１０】
また、本発明の他の態様によれば、マルチメディアシステムにおけるメディアコンテンツを受信する方法が提供される。その方法は、通信ネットワークを介してメディアコンテンツのデータストリームを受信するステップと、メディアコンテンツの伝送単位を判断し、判断された伝送単位に従ってヘッダー情報を確認し、確認されたヘッダー情報によって少なくとも一つのマルチメディアソースを含むメディアコンテンツを復号化するステップとを有する。
【００１１】
さらに、本発明の他の態様によれば、マルチメディアシステムにおけるメディアコンテンツを受信する装置が提供される。その装置は、通信ネットワークを介してメディアコンテンツのデータストリームを受信する受信部と、メディアコンテンツの伝送単位を判断し、判断された伝送単位に従ってヘッダー情報を確認し、確認されたヘッダー情報によって少なくとも一つのマルチメディアソースを含むメディアコンテンツを復号化する制御部とを含む。
【００１２】
本発明は、ＭＦＵ(Media Fragment Unit)、Ｍユニット(Media-Unit)、アセット(asset)、又はパッケージのように、多様な伝送単位を用いてメディアコンテンツを送受信する装置及び方法を提供することができる。また、本発明は、多様なタイプのマルチメディアソース、すなわちマルチメディアデータを含むハイブリッドメディアコンテンツを效率的に生成して送受信する装置及び方法を提供することにある。さらに、本発明は、所定のサイズを有するマルチメディアデータを伝送又は格納するときに適切に分割(fragmentation)することができる。
【００１３】
また、本発明は、マルチメディアシステムにおいて時間、重要度、及び多様な機能情報のうち少なくとも一つを制御情報として含む復号化単位であるＭユニットの位置又は伝送時点を容易に識別でき、ハイブリッドメディアコンテンツの一形態であるアセットの形式を適切な方法で效率的に通知することができる。さらに、本発明は、マルチメディアシステムにおけるアセットのタイプを效率的に通知することができる。
【００１４】
本発明の他の様態、長所、及び顕著な特徴は、添付された図面との結合を考慮すれば、後述する詳細な説明を参照してより容易に理解できることは、当該技術分野における通常の知識を持つ者には明らかである。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態により、ＭＰＥＧ(Motion Picture Experts Group)メディア転送(以下、“ＭＭＴ”とする)でハイブリッドメディアコンテンツを処理する階層構造を示す図である。
【図２】本発明の実施形態によるＭユニットのヘッダー構成を示す図である。
【図３】本発明の実施形態によるアセットのヘッダー構成を示す図である。
【図４】本発明の実施形態により、メディアコンテンツを生成して伝送する送信装置を示すブロック構成図である。
【図５】本発明の実施形態によるメディアコンテンツを受信する受信装置を示すブロック構成図である。
【図６】本発明の実施形態により、複数のスライスで構成されるビデオフレームを示す図である。
【図７】本発明の実施形態により、多様な伝送単位を用いてメディアコンテンツを伝送するシステム構成を示す図である。
【図８】本発明の実施形態によるＭＦＵの構成を示す図である。
【図９】本発明の実施形態によるＭユニットの構成を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【００１７】
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供される。具体的な構成及び構成要素のような特定詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
【００１８】
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
【００１９】
英文明細書に記載の“ａ”、“ａｎ”、及び“ｔｈｅ”、すなわち単数形は、コンテキスト中に特記で明示されない限り、複数形を含むことは、当業者にはわかることである。したがって、例えば、“コンポーネント表面(a  component  surface)”との記載は一つ又は複数の表面を含む。
【００２０】
以下、本発明の実施形態は、それに適用される技術のうちＭＭＴ技術に基づいて説明する。しかしながら、本発明は、これに限定されるものではなく、適切な又は類似の技術又は通信標準に適用することができる。
【００２１】
図１は、本発明の実施形態により、ＭＭＴでハイブリッドメディアコンテンツを処理する階層構造を示す。
【００２２】
図１を参照すると、Ｅ階層の構造が示され、このＥ階層は、ＭＭＴ  Ｅ.３階層１０５、ＭＭＴ  Ｅ.２階層１０７、及びＭＭＴ  Ｅ.１階層１０９を含む。
【００２３】
メディアコーデックＡ１０１及びメディアコーデックＢ１０３は、マルチメディアデータを復号化/符号化のためのメディアコーデック階層である。メディアコーデックＡ１０１及びメディアコーデックＢ１０３は、異なる機能を有する。例えば、圧縮されたデジタルビデオを含むマルチメディアデータと一緒に、そのマルチメディアデータに関する特性情報、復号化のためのシグナリング情報、及び他の類似した情報を提供するＮＡＬ(Network  Adaptation  Layer)ユニットは、Ｈ.２６４コーデック(図示せず)におけるエンコーダの出力であり、圧縮デジタルビデオのようなマルチメディアデータは、Ｈ.２６２コーデック(図示せず)におけるエンコーダの出力である。Ｈ.２６４符号化はメディアコーデックＢ１０３で遂行され、Ｈ.２６２符号化はメディアコーデックＡ１０１で遂行され得る。しかしながら、本発明は、これに限定されるものではなく、Ｈ.２６４符号化は、メディアコーデックＡ１０１で遂行することができる。
【００２４】
すなわち、メディアコーデックＢ１０３は、特性情報及びシグナリング情報のような制御情報が付加されるマルチメディアデータの符号化が遂行でき、メディアコーデックＡ１０１は、マルチメディアデータのみの符号化が遂行できる。
【００２５】
図１を参照すると、ＭＭＴ  Ｅ.３階層１０５は、メディアコーデックＡ１０１から伝送される符号化されたマルチメディアデータに該当マルチメディアデータの特性情報及び復号化に必要なシグナリング情報のような制御情報を付加してＭＭＴ  Ｅ.２階層１０７に伝送する。この場合において、ＭＭＴ  Ｅ．３階層１０５に関する情報は、ＮＡＬユニットヘッダーとＮＡＬユニットデータを包含し、追加に付加ヘッダー情報を含む。
【００２６】
図６は、本発明の実施形態により複数のビデオスライスで構成されるビデオフレームを示す。
【００２７】
図６を参照すると、ビデオフレームの構造は、特定時間でビデオの単一の画像として表示される一つのフレームであって、複数のスライス６０１〜６１３を含む。より詳細には、上記ビデオの単一の画像は、スライス６０１，６０３，６０５，６０７，６０９，６１１，６１３である７個の小さいブロックに符号化される。
【００２８】
すなわち、複数のスライス６０１〜６１３は、ビデオの単一画像に表示されるフレームに含まれる。複数のスライス６０１〜６１３は、図６に示すように、左側から右側方向へ配置され、フレームが埋められている間に上側から下方へ配置され、あるいは他の適切な方法で配置することができる。例えば、単一のフレームに含まれた複数のスライスは、左側又は右側から右側又は左側方向へ、あるいは下側又は上側から上側又は下側の方向に多様な組み合わせで埋められることができる。複数のスライス６０１〜６１３は、異なる長さを有する。
【００２９】
図６の構成を有するフレームは、時間情報、重要度、及び後述されるランダムアクセスポイントのような多様な機能情報のうち、制御情報のような少なくとも一つの情報を含むハイブリッドメディアコンテンツの伝送単位のうちいずれか一つであるメディアユニット(Ｍユニット又はＭＵ)で構成される。加えて、フレームに含まれたスライス６０１〜６１３の各々は、独立的に復号化でき、メディアフラグメントユニット(ＭＦＵ)で構成することができる。
【００３０】
さらに、Ｍユニットは、データが記録されるデータユニットを従属的に有する最も大きいグループフレーム、言い換えればＧｏＰ(Group of  Pictures)のような独立的に動作する単位で定義することができる。本発明の実施形態によれば、ＭＦＵがフレーム内の一つのスライスに該当する場合、一つのフレームは、一つのＭユニットとして構成される。また、ＭＦＵが一つのフレームに該当する場合、Ｍユニットは、独自の復号化単位であるＧｏＰとして構成される。
【００３１】
次世代マルチメディアブロードキャストシステムを考慮すると、ビデオフレームは、最小復号化単位であるＭＦＵと、制御情報を含む復号化単位であるＭユニットを含むことができる。さらに、Ｍユニットは、単一ＭＦＵ、断片化した(fragmented)ＭＦＵ、又はＭＦＵのグループを含むことができる。デコーダは、制御情報に基づいて最小構成単位別制御機能を制御することができる。また、ＭＦＵは、ＭＭＴ  Ｅ.３階層１０５(図１を参照)に入力される最小データユニットであり、Ｍユニットは、時間情報のような制御情報を含むＭＭＴ  Ｅ.３階層１０５の出力データユニットである。したがって、本発明の実施形態は、構造化されたＭＦＵ又はＭユニットを用いて、次世代マルチメディアブロードキャストシステムで伝送及び格納のための効率的なメディアコンテンツデータを構成可能にする。
【００３２】
本発明の実施形態によるＭＦＵは、メディアコンテンツデータを構成するための最小の構成単位であり、メディアコンテンツデータに関する構成情報を含む。この構成情報は、各メディアコンテンツデータの開始位置(point)、中間位置、及び終了位置を示し、分割されないデータを示す識別子、メディアコーデックを設定するための設定情報、符号化されたメディアフォーマットに関する情報を表すデータタイプを示すタイプ情報、メディアコンテンツデータに関する優先順位情報、メディアコンテンツデータの開始位置を示す位置情報、メディアコンテンツデータに関するサイズ情報、及び階層符号化及び多時点メディアコーデックに関する特定情報を表す情報を示す識別子のうち少なくともいずれか一つを含む。ＭＦＵの単位サイズは、独立的に符号化及び/又は復号化が可能な単位サイズを示すことができる。例えば、ビデオは、メディアコーデックの最小符号化及び/又は復号化単位であるマクロブロックからデータユニットに基づき、ピクチャ、スライス、及びアクセスユニットに断片化できる。
【００３３】
図８は、本発明の実施形態によるＭＦＵの構成を示す。
【００３４】
図８を参照すると、本発明は図８の実施形態に限定されず、このＭＦＵは、多様な構成及び形態で構成できる。
【００３５】
付加ヘッダー情報は、メディア符号化の出力データユニットに含まれる単位情報であるＭＦＵに関する構成情報として、ＭＦＵに関連して情報フィールド８０１〜８０９のうち少なくとも一つを含む。
【００３６】
ＭＦＵのインジケータ８０１は、ＭＦＵに関する構成情報を含み、ＭＦＵデータが分割されるか否かを示すフラグ情報を示し、ＭＦＵのうち開始ユニット、連続ユニット、又は最後ユニットも示す。データタイプ８０２は、ＭＦＵデータのタイプを示し、該当ＭＦＵデータの属性を表す情報である。例えば、データタイプ８０２は、メディアコーデックに関する設定情報、符号化の動き予測情報、符号化データ、符号化データに関する構成情報、及び他の類似データに対するデータタイプを示す。
【００３７】
復号化順序番号(decoding  order  number)８０３は、分割されたＭＦＵに関するフラグ情報が継続される場合を示すために使用される。ＭＦＵは、該当ＭＦＵが使われる順序を表す順次情報である増加番号を有する。その上、クライアント端末は、該当ＭＦＵが使用される順序を復号化順序に関する情報として表す順次情報である増加番号を活用することができる。バイトオフセット情報８０４は、メディアデータの開始である実際位置を示す。長さ８０５は、メディアデータの長さを示す。
【００３８】
優先順位(Ｐ)８０６は、ＭＦＵの優先順位の値を表す情報である。例えば、優先順位８０６が“０”である場合、該当ＭＦＵは優先順位データを有しないことを示し、優先順位８０６が“１”である場合、該当ＭＦＵは優先順位データを有する。メディアに対するＮＡＬヘッダーパラメータの場合、優先順位８０６は“１”に設定され得る。優先順位８０６は、単一メディア単位内に分割されたデータが優先順位データであることを示し、この優先順位情報が損失する場合、復号化は中断され得る。
【００３９】
従属カウンタ(dependency  counter)８０７は、独立的に符号化及び/又は復号化可能な単位内で従属的なＭＦＵカウンタの値を示す。例えば、従属カウントの値が“４”である場合、以後の４個のＭＦＵは、該当ＭＦＵデータに依存していることを意味する。例えば、従属カウント“４”を有するＭＦＵのうち４個の関連ＭＦＵがある場合、第１のＭＦＵは、“３”のカウント値を有し、第２のＭＦＵは“２”のカウント値を有し、第３のＭＦＵは“１”のカウント値を有し、最後のＭＦＵは“０”のカウント値を有する。従属的なカウントの使用を通じて、この誤りの伝搬程度は、該当ＭＦＵデータに誤りがある場合に示すことができる。
【００４０】
多層(multi-layer)情報８０８は、基本メディアの識別子、階層化ビデオ符号化の向上階層メディアの識別子、多視点メディアコーディング、及び他の類似情報を示す。このＭＦＵは、スケーラブル(scalable)メディアコーディング又は多層メディアコーディングに関する情報に関連する。メディアコーデック装置付加情報(Ｍｉ)８０９は、該当メディアコーデックを用いて符号化する過程で装置に応じて変更される情報である。これは、該当メディアコーデックに関するプロファイルとレベル情報が変更され、あるいはコーデックのタイプが変更される場合を考慮して該当情報に関するリスト又は拡張情報を表示する。
【００４１】
さらに、ＭＭＴ  Ｅ.３階層１０５は、メディアコーデックＡ１０１から伝送された符号化マルチメディアデータに該当するマルチメディアデータの特性情報及び復号化に必要なシグナリング情報のような制御情報を付加してＭＭＴ  Ｅ.２階層１０７にマルチメディアデータを伝送するためのＭユニットを生成する。上述したＭユニットに含まれる制御情報の例については、図９を参照して説明する。
【００４２】
図９は、本発明の実施形態によるＭユニットの構成を示す。
【００４３】
図９を参照して、Ｍユニットの一実施形態、及び情報フィールド９０１〜９０８について以下に説明する。しかしながら、本発明はこれに限定されるものではなく、Ｍユニットは、多様な方法及びタイプで構成することができる。
【００４４】
タイプ９０１は、Ｍユニットに関する構成情報を示すＭユニット識別子である。これは、Ｍユニットが単一ＭＦＵ、分割されたＭＦＵ、ＭＦＵグループ、又は複数のアクセスユニット(ＡＵ)を含むか否かを示すフラグ情報、またＭユニットが開始ユニット、継続ユニット、又は最後ユニットであるか否かを追加的に示すフラグ情報である。シーケンス番号９０２は、フラグ情報が継続される場合を示す。Ｍユニットは、その使用順序に関する情報である増加番号を有する。
【００４５】
バイトで与えられるデータオフセット９０３は、Ｍユニットメディアデータの開始位置を示す情報であり、Ｍユニットに関するヘッダー情報の長さで表現され得る。長さ情報９０４は、Ｍユニットメディアデータの長さを表す。タイミング情報９０５は、Ｍユニットに関する再生時間を表す。再生時間に関するタイミング情報９０５は、復号化時間情報、表現時間情報、及び他の類似時間情報を含み、表現方法は、ネットワーク同期化時間情報表現方法と周期を有する時間情報表現方法を含むことができる。
【００４６】
ランダムアクセス位置(Random  Access  Point：ＲＡＰ)９０６は、該当するＭユニットに関するランダムアクセス位置情報を示す。ＲＡＰ９０６を用いるビデオデータは、ランダムな再生機能を提供できる。ＲＡＰ９０６を提供する場合には、Ｍユニットは、少なくとも一つのＲＡＰ９０６の情報を含む。さらに、Ｍユニットが少なくとも一つのＲＡＰ９０６の情報を含む場合、ＲＡＰは、ＲＡＰに対応する複数個の位置情報を提供する。状況によって、ＭＦＵのＲＡＰ認識コードを挿入して該当位置を順次に検索する方法が提供される。
【００４７】
初期メディアコーデック情報９０７は、メディアコーデックの初期設定値に関する情報を含むことができる。メディアコーデックの復号化のための初期設定は、該当構成情報を通じて進行され得る。
【００４８】
カウンタ９０８は、複数のＭＦＵ及びＭＦＵ/ＡＵ番号の許容に関する情報を含むことができる。複数のＭＦＵ許容情報は、Ｍユニットデータが複数のＭＦＵ又は一つのＭＦＵを含むか否かを示し、Ｍユニットデータが複数のＭＦＵを含む場合にＭＦＵの個数を示す。ＭＦＵ/ＡＵ番号は、Ｍユニットデータが複数のＭＦＵ又はＡＵを含む場合に内部データ単位の個数を示す。また、ＭＦＵ/ＡＵは、該当ＭＦＵ又はＡＵのアクセスのためのデータに関する該当位置情報を提供する。また、該当位置情報は、その位置情報を提供するためのインジケータをＭＦＵ又はＡＵに関するヘッダー情報に追加して該当位置情報を順次に検索して捜し出すことができる。
【００４９】
上記したように、ＭＭＴ  Ｅ.３階層１０５(図１を参照)は、メディアコーデックＡ１０１から伝送されるＭＦＵのように、ソースから獲得されたマルチメディアデータに制御情報を付加してＭＭＴ  Ｅ.２階層１０７に伝送する。したがって、ＭＭＴ  Ｅ.２階層１０７は、制御情報が付加された少なくとも一つのマルチメディアデータを集めてＭユニットを構成する。
【００５０】
制御情報は、ＭＦＵに関する制御情報とＭユニットに関する制御情報に分けられる。さらに、ＭＦＵに関する制御情報とＭユニットに関する制御情報の各々の具体的な情報構成は、図１，図６，図８，図９で上記した方法で構成することができる。また、制御情報は、ヘッダー情報に多様な形態で付加できる。Ｍユニットのヘッダー構成の実施形態は、以下に図１を参照して説明する。
【００５１】
図１のＭＭＴ  Ｅ.２階層１０７は、一つ以上のマルチメディアデータ又はマルチメディアソースから提供される多様なタイプのＭＦＵを集めてＭユニットで構成するＭＭＴアセットデータ(以下、“アセット”と称する)を生成する。このＭＭＴアセットは、ビデオデータ、オーディオデータ、テキストデータ、ファイルデータ、ウィジェットデータ、アプリケーションデータ、及び他の類似データのように、多様なタイプのマルチメディアソース、すなわちマルチメディアデータの属性による単位構造の入力を受信してハイブリッドメディアコンテンツに構成される。このアセットは、上記したＮＡＬユニットのグループ、すなわちＭユニットの各々である一つ以上のＭＭＴ  Ｍユニットデータを含み、このＭＭＴ  Ｍユニットデータは相互に区別される。ＭＭＴ  Ｅ.２階層１０７は、ハイブリッドメディアコンテンツの伝送に必要な情報又はマルチメディアデータに関する属性情報に基づいてアセットの形態でハイブリッドメディアコンテンツを生成する。ここで、“グループ”は、マルチメディアシステムにおける符号化及び/又は復号化情報の単位として理解できる。
【００５２】
同一の特性情報を有する情報単位を含むデータグループであるＭユニットは、上記したエンコーダの出力であるＮＡＬユニットデータにハイブリッドメディアコンテンツの生成に必要な付加特性情報を付加して生成される。付加特性情報の一例は、ファイル又はウィジェットデータの特性である無損失情報、メディアデータの特性である損失許容及び遅延情報を含む。同一の特性単位のグループであるＭユニットが構成及び生成される。図１のＭＭＴ  Ｅ.１階層１０９は、ＭＭＴ  Ｅ.２階層１０７から伝送された一つ以上のアセットをユーザーにより使用可能なＭＭＴパッケージとして構成する。
【００５３】
図２は、本発明の一実施形態によるＭユニットのヘッダー構成を示す。
【００５４】
図２を参照して、図２のＭユニットのヘッダーに含まれるフィールドについて以下に説明する。
【００５５】
Ｍユニット識別子(ＩＤ)２０１は、Ｍユニットを判断するための識別子である。シーケンス番号２０３は、Ｍユニットの機能による順序を示す。このシーケンス番号２０３は、伝送損失再送信要求又はメディア早送り(fast  forward)再生及びランダムアクセスのようにメディア再生時間による順序再配列機能に使用できる。
【００５６】
タイプ２０５は、Ｍユニットのデータタイプを表す。このタイプ２０５は、データグループに関する特性情報、損失率を考慮したファイル特性、メディア再生のための遅延情報、又は他の類似した特性及び情報を示すことができる。図２に示されていないが、Ｍユニットのデータが乗せられたペイロードは、ビデオ、オーディオ、テキスト、ファイル、及びウィジェットのように多様なソースのマルチメディアデータを伝送できる。したがって、タイプ２０５は、Ｍユニットのヘッダーと一緒に伝送されるコンテンツのタイプを表すことができる。
【００５７】
タイプ２０５は、０００がＨ.２６４ビデオを示し、００１がＡＡＣオーディオを示し、００２がテキストを示し、００３がアプリケーションを示し、００４がウェブページを示し、００５はコーデックのためのシグナリングを示し、００６が組み立てのためのシグナリングを示し、００７がフューチャユースのために予備されるタイプを表す３個のデジット(digit)フィールドを含む。ハイブリッドメディアコンテンツの供給者により決定された範囲内で所定値を用いて適切なコンテンツのタイプが示され得る。タイプ２０５の他の例では、０００がＨ.２６４Ｉフレームを示し、００１がＨ.２６４Ｂフレームを示し、００２がＨ.２６４Ｐフレームを示すケースであり、特定マルチメディアの多様なソースに優先順位を割り当てる方法に使用できる。ＱｏＳ(Quality of Service)は、優先順位に基づいてマルチメディアデータの伝送を考慮することができる。
【００５８】
フラグメントユニット(ＦＵ)フラグ２０７は、連続したＭユニットに関する情報を表す。ＦＵフラグの値は、該当Ｍユニットが結合されるか、分割されるか、あるいは単一Ｍユニットであるかを示す。タイムフラグ２０９は、該当Ｍユニットが時間情報を含むことを表す。ＧｏＰ２１１は、該当ＭユニットがＧｏＰユニットに関する情報を含むことを示す。ＧｏＰ２１１が含まれる場合、ＧｏＰ２１１の値は、該当Ｍユニットが単一のＡＵ又は複数のＡＵを有することを示す。ＭＦＵ範囲は、図２に示されていないが、ＭＦＵのグループの値を示す。ＳＰＳ(Spatial  Parameter  Set)２１３は、空間パラメータセット情報を含むことを示す。ＳＰＳ２１３は、該当Ｍユニットのデータが表示される空間的位置に関する情報を表す。ＰＰＳ(Presentation  Parameter  Set)２１５は、ＭユニットがＰＰＳ情報を含むことを示す。ＰＰＳ２１５は、コーデック初期化に使用される情報であり、メディアコーデックに関する特定情報を含む。さらに、ＳＰＳ２１３とＰＰＳ２１５は、メディア符号化の初期化パラメータの一般的な値を使用する。
【００５９】
同期(sync)２１７は、該当Ｍユニットが同期化制御情報を含むことを表す。同期２１７は、組み合わせ処理された複数のＭユニット間の相互同期化のためのデータであって、例えば、３次元(３Ｄ)イメージのための右側(Ｒ)イメージのためのＭユニットと左側(Ｌ)イメージのためのＭユニットとの間の同期マーカー(marker)として 活用される。また、同期２１７は、該当Ｍユニット間の命令情報を割り当てるために使用される。命令情報は、該当Ｍユニットに対する制御情報であって、該当Ｍユニットが付加、削除、置換、又は更新情報のような情報に対応することを示す。同期情報は、命令情報に基づいて、ハイブリッド伝送ネットワークを通じて転送される同一のセッションにＭユニットのみのための制御情報として使用できる。
【００６０】
伝送特性(ＴＣ)２１９は、Ｍユニットが伝送特性情報を含むことを示す。ＴＣ２１９は、該当Ｍユニットを伝送するためのもので、例えば損失率、遅延時間、誤り復旧のためのパリティ情報、データ伝送のための平均ビット率、及び最大ビット率を表す。
【００６１】
ＲＡＰ２２１は、該当Ｍユニットがランダムアクセスのためのフラグ情報を含むことを示す。早送り再生のような機能構成は、該当フラグの存在有無に従って提供され得る。
【００６２】
図２は、Ｍユニットのヘッダーの構成を示す。しかしながら、本発明は、これに限定されず、図２の実施形態によるＭユニットのヘッダー構成は、他の適切な形態及び構成からなり得る。例えば、Ｍユニットのヘッダー構成は、図２で説明したＭユニットのヘッダーに含まれる複数のヘッダー情報及び/又は図１のＭＭＴ  Ｅ.３階層１０５の説明でＭユニットの生成に付加される複数の制御情報のうち、一つ以上の情報の組み合わせを含むことができる。
【００６３】
図３は、本発明の実施形態によるアセットのヘッダー構成を示す。
【００６４】
図３を参照すると、本発明の実施形態により、アセットは、メディアソースの多様なマルチメディアデータによる少なくとも一つのＭユニットを含む構造で生成され、メディアソースの多様なマルチメディアデータを含むデータストリームとして理解できる。すなわち、各マルチメディアソースは、ＭＦＵ又はＭユニットとして生成され、アセットは、少なくとも一つのＭユニットを含む。
【００６５】
＜表１＞は、Ｍユニット、アセット、及びＭＦＵの一例を示す。
【００６６】
【表１】
2019165456.tif 000003
＜表１＞において、ｏｆｆ-ｓｅｔは、バイトデータオフセット情報を意味する。
【００６７】
より詳細には、図３は、図１のＭＭＴ  Ｅ.２階層１０７が多様なタイプのマルチメディアデータの同一の属性情報のグルーピングされたデータであるＭユニットの入力でアセットを生成する場合に使用されるアセットに関するヘッダー情報の一例を示す。また、図３のアセットのヘッダーは、空間的に連続するＭユニットの単位グループを示す。アセットＩＤ３０１は、該当連続データに対する識別子を示す。このアセットＩＤ３０１は、ハイブリッドメディアコンテンツを生成する過程で該当アセットに関する識別情報である。
【００６８】
アセット長さ情報３０３，３０５，３０７，３１１は、該当アセットのデータ長さを表す。アセット長さ情報３０３，３０５，３０７，３１１は、ＵＤ(Ultra Definition)ビデオデータを考慮して十分に長い大きい長さを有するように設定される。アセット長さ情報３０３，３０５，３０７，３１１は、便宜のために３個の領域に別々に示される。しかしながら、本発明は、これに限定されるものではなく、アセット長さ情報３０３，３０５，３０７，３１１は、一つのフィールド又は適切な個数のフィールドであり得る。
【００６９】
アセットタイプ３０９は、該当アセットのデータタイプを表し、上記した図１を参照して同一の方法で図１のＭユニットのデータタイプを使用することができる。しかしながら、上記した方法以外にも、マルチメディアタイプは多様な方法で示すことができる。例えば、第１のマルチメディアソースのタイプは、最近オーディオコーデック、ビデオコーデック、又は各種アプリケーションが多様にプロファイリング及び使用されるため、代表的マルチメディアソースの名称のみによるマルチメディアソースの不正確な復号化を防止するように直接に通知することができる。例えば、Ｈ.２６４には概略１０個のタイプのプロファイリングがあるので、アセットのタイプがＨ.２６４を通じて簡単に通知される場合、誤りが復号化過程で生成され得る。さらに、複数のマルチメディアデータがＭＭＴパッケージを構成するのに多重化されて使用される場合、長い長さのアセットタイプが使用される。
【００７０】
また、例えば、１３ビットの長さを有するアセットタイプは、Ｍユニットのデータタイプに従い、状況に従って拡張フラグを追加して該当優先順位による追加情報を表すことができる。例えば、Ｈ.２６４に基づいて“００００００００”である場合、Ｈ.２６４のイメージ内のＩフレームは“００１”で示され、Ｂフレームは“０１０”で示され、Ｐフレームは“１００”で示される。Ｍユニットを伝送する送信側で最大限にＱｏＳを保証するための伝送優先順位は、優先順位に基づいて考慮することができる。
【００７１】
Ｍユニット制御情報ヘッダー長さ３１３は、該当ペイロードで示されたＭユニット制御情報ヘッダーの長さを示し、この長さと同一のＭユニット制御情報データがあることを通知する。Ｍユニット制御情報３１５は、ハイブリッド伝送ネットワークを考慮して同期化情報と追加、削除、挿入、更新、取り替えの命令に対するアセット命令情報、該当アセットデータグループの基本時間単位であるタイムスケール、伝送データグループのための伝送率、損失率、遅延許容時間、最大ビット率、平均ビット率、ＱｏＳ保証可否、及び他の類似情報を示す伝送特性情報、該当アセットのデータグループに含まれたＭユニットの個数、及びＲＡＰに関する付加情報のうち少なくとも一つを含む。
【００７２】
１ビット又は２ビットのように特定長さを有するヘッダーが本発明の別々の実施形態を説明する一例として示されたが、他の長さを有するＭユニット及び/又はアセットのヘッダーが使用できる。さらに、本発明の実施形に上記したように、フィールドが長さに関係なく使用される場合、Ｍユニット及び/又はアセットの構成方法は、本発明の実施形態により使用することができる。
【００７３】
本発明の実施形態によるアセットの識別子又はデータタイプは、アセットのＭユニットに含まれるメディアソースのマルチメディアデータのタイプを示すことができる。例えば、アセットの識別子又はデータタイプは、アセットがビデオデータに対するか、オーディオデータに対するか、又はアセットがビデオデータ、オーディオデータ、ファイルデータ、ウィジェットデータ、又は他の類似タイプのデータのような複数のマルチメディアソースを含むかを表すことができる。さらに、Ｍユニットの識別子又はデータタイプは、該当Ｍユニットに含まれたデータ、すなわちマルチメディアソースのタイプを有するビデオデータ、オーディオデータ、ファイルデータ、ウィジェットを示すことができる。
【００７４】
図７は、本発明の実施形態により、多様な伝送単位を用いてメディアコンテンツを伝送するシステムを示すブロック構成図である。
【００７５】
図７を参照すると、データストリームの構成は、リアルタイムブロードキャスト及び時間に密接に関連したリアルタイムデータの伝送のためのストリーミングペイロード７０１と、ファイル伝送のような非リアルタイムデータの伝送のためのファイル転送ペイロード７０３に分類され得る。さらに、ストリーミングペイロード７０１において、メディアコンテンツは、リアルタイムデータ伝送のために基本伝送単位としてＭＭＴ  Ｍユニット又はＭＭＴ  ＭＦＵを用いて構成及び伝送され得る。
【００７６】
ＭＦＵ７０５は、コーデック又はアプリケーションソースから入力されるマルチメディアデータを処理する基本単位である。ＭＦＵ７０５は、ビデオコーデックの一つの画像、又は一つの画像が含まれる複数のブロックのうち一つであり、アプリケーションのように、ファイルでは一つのファイルブロックであり得る。さらに、ＭＦＵ７０５は、伝送又はアプリケーション駆動の基本単位であるＭＭＴ  Ｍユニット７０７であり得る。例えば、一つのＭユニット７０７は、ビデオマルチメディアデータの一つのイメージを構成するデータを伝送するための単位であるＡＵが数個のグループで構成される。Ｍユニット７０７の構成の際に、ユーザーは、早送り検索又はビデオ検索を遂行することができる。
【００７７】
さらに、Ｍユニット７０７は、一つのＭＭＴアセット７０９で構成さ得る。また、ＭＭＴアセット７０９は、独立したビデオデータ、オーディオデータ、又は字幕のうちの一つである。多様なタイプのＭＭＴアセット７０９のグループは、ハイブリッドマルチメディアコンテンツを提供できるＭＭＴパッケージ７１１であり得る。加えて、ファイル伝送用データストリームは非リアルタイムデータの伝送に使用され、伝送単位は、ハイブリッドメディアコンテンツのＭＭＴアセット７０９又はＭＭＴパッケージ７１１の全体又は特定部分となり得る。
【００７８】
上記のように、図７の本発明の実施形態によるメディアコンテンツを伝送するための構成でメディアコンテンツを符号化するための単位は、ＭＦＵ７０５又はＭユニット７０７であり得る。独立的に復号可能なビデオである場合、ＭＦＵ７０５は、符号化のための一つのフレームあるいはフレームが複数のスライスを含む場合に複数のスライスのうちいずれか一つを意味する。さらに、独立的に復号可能なビデオである場合、Ｍユニット７０７は、符号化のための一つのフレーム又は符号化のために独立して復号可能な単位であるＧｏＰを意味する。
【００７９】
メディアコンテンツの伝送単位は、メディアの属性及びサービスを考慮して決定され得る。アセット７０９は、同一のメディアタイプで構成されるＭユニット７０７の連続したストリームである。パッケージ７１１は、単一アセット又は複数のアセットのグループの形態であり、サービスのための付加情報、すなわちハイブリッドメディアのイメージ構成情報時間、空間的配置順序及びハイブリッドネットワーク環境を考慮した伝送環境情報、伝送要求帯域幅、損失確率、遅延時間許容可否に関する情報、又は他の適切又は類似情報を含むことができる。
【００８０】
図４は、本発明の実施形態により、メディアコンテンツを生成して伝送する送信装置の構成を示すブロック構成図である。
【００８１】
図４を参照すると、送信装置は、マルチメディアソース入力部４０１、マルチメディアソース識別部４０３、マルチメディアソース格納部４０５、伝送部４０７、及び制御部４０９を含む。図４の送信装置は、図７を参照して説明した多様な伝送単位をサポートし、リアルタイムデータの伝送のためのストリーミング用構成及び非リアルタイムデータを伝送するためのファイル伝送用構成によって伝送単位を決定し、決定された伝送単位に従って一つ以上のマルチメディアソースをＭＦＵ、Ｍユニット、アセット、又はパッケージに伝送単位として構成して伝送する。マルチメディアソース入力部４０１は、ハイブリッドメディアコンテンツを生成するためのマルチメディアソースとして多様なタイプのマルチメディアデータのグループであるＭユニットの入力を受信する。マルチメディアソース識別部４０３は、マルチメディアソースとしてＭユニットのグループにアセットＩＤを割り当て、マルチメディアソースのタイプ、例えば音声ソース、ビデオソース、ファイル、又は実行ファイルを識別し、該当アセットＩＤを割り当てる。ここで、一つのアセットは、多様なマルチメディアソースで構成される複数のＭユニットを含むことができる。マルチメディアソース格納部４０５は、アセットの構成方法で生成されたアセットを格納する。伝送部４０７は、通信ネットワークを介してアセット又は複数のアセットを伝送する。制御部４０９は、マルチメディアソースの一つ以上のマルチメディアデータから提供される多様なタイプのＭＦＵを集合してＭユニットを構成し、ＭＦＵ、Ｍユニット、及びアセットを生成及び伝送するための一般的な制御を遂行する。
【００８２】
図５は、本発明の実施形態により、メディアコンテンツを受信する受信装置を示すブロック構成図である。
【００８３】
図５を参照すると、受信装置は、受信部５０１、マルチメディアソース読み取り部５０３、マルチメディアソース格納部５０５、ディスプレイ部５０７、及び制御部５０９を含む。図５の受信装置は、図７を参照して説明した多様な伝送単位をサポートし、リアルタイムデータの伝送のためのストリーミング用構造と非リアルタイムデータ伝送のためのファイル伝送用構造によって該当伝送単位で受信されたメディアコンテンツの伝送単位を判断し、伝送単位に関するヘッダー情報を識別し、復号化を遂行する。図５の受信部５０１は、マルチメディアソースの多様なマルチメディアデータにより、一つ以上のＭＦＵを含み、一つ以上のＭユニットを含むアセットを通信ネットワークを介して受信し、アセットに関するヘッダー情報とＭユニットに関するヘッダー情報は、制御部５０９に伝送されてハイブリッドメディアコンテンツの受信制御と復号化に使用される。さらに、制御部５０９は、ＭＦＵに関する制御情報とＭユニットに関する制御情報を用いてハイブリッドメディアコンテンツの受信及び復号化に関連した全般的な制御を遂行する。
【００８４】
マルチメディアソース読み取り部５０３は、アセット及びＭユニットに関するヘッダー情報を各々受信する制御部５０９から伝送されたＭＦＵに関する制御情報を含む制御情報に基づいたＭユニット単位の各マルチメディアソースのデータタイプを読み取り、読み取られた各マルチメディアソースをマルチメディアソース格納部５０５に分類及び格納する。図５の制御部５０９は、アセットの受信とマルチメディアソースの読み取り及び復号化のための全般的な制御を遂行し、復号化されたマルチメディアソースのデータはディスプレイ部５０７を通じて出力される。
【００８５】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【符号の説明】
【００８６】
４０１  マルチメディアソース入力部
４０３  マルチメディアソース識別部
４０５  マルチメディアソース格納部
４０７  伝送部
４０９  制御部
５０１  受信部
５０３  マルチメディアソース読み取り部
５０５  マルチメディアソース格納部
５０７  ディスプレイ部
５０９  制御部
【図１】
2019165456.tif 000004
【図２】
2019165456.tif 000005
【図３】
2019165456.tif 000006
【図４】
2019165456.tif 000007
【図５】
2019165456.tif 000008
【図６】
2019165456.tif 000009
【図７】
2019165456.tif 000010
【図８】
2019165456.tif 000011
【図９】
2019165456.tif 000012