(57)【要約】  マルチメディアブロードキャストサービスにおいてブロードキャストネットワーク又は通信ネットワークを介してサービスにより受信されたメディアデータと補助データを同期化する装置及び方法が提供される。その方法は、ブロードキャストサービスのために提供されるレギュラーメディアデータを受信するステップと、レギュラーメディアデータに対する補助データを含む補助メディアデータに関する制御情報を受信及び格納するステップと、制御情報に含まれる補助メディアデータに関する位置情報を決定するステップと、位置情報に従って補助メディアデータを受信及び格納するステップとを有する。補助メディアデータの識別子がレギュラーメディアデータのヘッダーに含まれる場合、補助メディアデータの識別子に対応する格納された補助メディアデータを読み取り、ヘッダーに含まれた同期情報によりレギュラーメディアデータと同期して補助メディアデータを実行する。
2014530558.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアブロードキャストサービスにおけるデータを同期化する方法であって、
ブロードキャストサービスのための構成情報(ＣＩ)を受信して格納するステップと、
前記構成情報から前記ブロードキャストサービスのために提供される主メディアデータの位置情報を確認し、前記位置情報に従って前記主メディアデータを受信するステップと、
前記構成情報に含まれた、前記主メディアデータに対する補助データを包含する補助メディアデータの位置情報を確認し、前記位置情報により前記補助メディアデータを受信して格納するステップと、
前記構成情報に含まれた前記補助メディアデータの開始情報を確認し、前記補助メディアデータを前記開始情報と関連した前記主メディアデータと同期化して実行するステップと、
を有することを特徴とする方法。
【請求項２】
前記開始情報は、
前記補助メディアデータと同期化される前記主メディアデータの識別子と、
前記補助メディアデータと同期化される前記主メディアデータのシーケンス番号と
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記開始情報は、前記補助メディアデータと同期化される前記主メディアデータのフレームオフセット値をさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置であって、
ブロードキャストサービスを提供する主メディアデータを受信して復号化するデコーダと、
前記ブロードキャストサービスのための構成情報(ＣＩ)を受信して格納する補助メディア情報格納部と、
前記構成情報に含まれた、前記主メディアデータに関する補助データを含む補助メディアデータの位置情報を確認し、前記位置情報により前記補助メディアデータを受信して格納する補助メディアデータキャッシュと、
前記構成情報に含まれた前記補助メディアデータの開始情報を確認し、前記補助メディアデータを前記開始情報に関連した前記主メディアデータと同期化して実行する実行部と、
を含むことを特徴とする受信装置。
【請求項５】
前記開始情報は、
前記補助メディアデータと同期化される前記主メディアデータの識別子と、
前記補助メディアデータと同期化される前記主メディアデータのシーケンス番号と
を含むことを特徴とする請求項４に記載の受信装置。
【請求項６】
前記開始情報は、前記補助メディアデータと同期化される前記主メディアデータのフレームオフセット値をさらに含むことを特徴とする請求項５に記載の受信装置。
【請求項７】
マルチメディアブロードキャストサービスにおけるデータを同期化する方法であって、
ブロードキャストサービスのために提供される主メディアデータを受信するステップと、
前記主メディアデータに対する補助データを含む補助メディアデータに関する制御情報を受信して格納するステップと、
前記制御情報に含まれた前記補助メディアデータの位置情報を確認し、前記位置情報により前記補助メディアデータを受信して格納するステップと、
前記補助メディアデータの識別子が前記主メディアデータのヘッダーに含まれる場合に、前記補助メディアデータの識別子に対応する前記格納された補助メディアデータを読み取り、前記ヘッダーに含まれた同期化情報により前記主メディアデータと同期化して実行するステップと、
を有することを特徴とする方法。
【請求項８】
前記制御情報は、一つ以上のメディアデータに関する情報を含み、補助メディアデータの各々に、データのタイプ、実行属性、受信器の能力、格納空間、有効期限、及び表示位置情報のうち少なくとも一つをさらに含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記制御情報は、一つの補助メディアデータに関する一つ以上の位置情報を含むことを特徴とする請求項７に記載の方法。
【請求項１０】
前記ヘッダーは、前記補助メディアデータの実行を制御するための補助メディアデータ制御フィールドをさらに含むことを特徴とする請求項７に記載の方法。
【請求項１１】
連続して受信される複数の主メディアデータのヘッダーは、同一の補助メディアデータの識別子を含むことを特徴とする請求項７に記載の方法。
【請求項１２】
前記位置情報は、ブロードキャストネットワークのカルーセル又はインターネットユニフォームリソースロケータ(ＵＲＬ)情報であることを特徴とする請求項７に記載の方法。
【請求項１３】
マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置であって、
ブロードキャストサービスのために提供される主メディアデータを受信して復号化するデコーダと、
前記主メディアデータに対する補助データを含む補助メディアデータに対する制御情報を受信して格納する補助メディア情報格納部と、
前記制御情報に含まれた前記補助メディアデータの位置情報を確認し、前記位置情報に従って前記補助メディアデータを受信して格納する補助メディアデータキャッシュと、
前記補助メディアデータの識別子が前記主メディアデータのヘッダーに含まれる場合、前記補助メディアデータの識別子に対応する前記格納されている補助メディアデータを読み取り、前記ヘッダーに含まれた同期化情報により前記主メディアデータと同期化して実行する実行部と、
を含むことを特徴とする受信装置。
【請求項１４】
前記制御情報は、一つ以上のメディアデータに関する情報を含み、補助メディアデータの各々に対して、データのタイプ、実行属性、受信器の能力、格納空間、有効期限、及び表示位置情報のうち少なくとも一つをさらに含むことを特徴とする請求項１３に記載の受信装置。
【請求項１５】
前記制御情報は、一つの補助メディアデータに関する一つ以上の位置情報を含むことを特徴とする請求項１３に記載の受信装置。
【請求項１６】
前記ヘッダーは、前記補助メディアデータの実行を制御するための補助メディアデータ制御フィールドをさらに含むことを特徴とする請求項１３に記載の受信装置。
【請求項１７】
連続して受信される複数の主メディアデータのヘッダーは、同一の補助メディアデータの識別子を含むことを特徴とする請求項１３に記載の受信装置。
【請求項１８】
前記位置情報は、ブロードキャストネットワークのカルーセル又はインターネットユニフォームリソースロケータ(ＵＲＬ)を示す情報であり、
前記ブロードキャストネットワークのカルーセルから前記補助メディアデータを受信して処理し、前記補助メディアデータキャッシュに格納するカルーセルハンドラと、
前記ＵＲＬから前記補助メディアデータをダウンロードして前記補助メディアデータキャッシュに格納するダウンローダと、
をさらに含むことを特徴とする請求項１３に記載の受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチメディアブロードキャストサービスに関するもので、特に異種ネットワーク(heterogeneous  network)環境で受信器によりブロードキャストネットワーク又は通信ネットワークから受信されるメディアデータと補助データを同期化するための方法及び装置に関する。
【背景技術】
【０００２】
一般に、マルチメディアサービスでは、オーディオ又はオーディオ付きのビデオ(以下、“レギュラーメディア”と称する)が提供され、必要に応じて、Ｗｅｂ文書、ウィジェット、対話型アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージのような補助データ(以下、“補助メディア(adjunct  media)”と称する）が共に提供される。一部の補助メディアは、レギュラーメディアと時間的に関係なく提供され(以下、“非スケジュールの補助メディア”と称する）、レギュラーメディアのコンテンツに関連する場合には必ず、時間的にレギュラーメディアのコンテンツのうち関連部分と同期して再生されるように提供される(以下、“スケジュール補助メディア”と称する)。後者の場合、レギュラーメディアのコンテンツの関連部分に同期して補助メディアを再生することは、“メディア同期化”と称する。
【０００３】
非スケジュールの補助メディアは、レギュラーメディアのコンテンツと同期化される必要がないので、受信器は、非スケジュール補助メディアを受信すると、直ちにこの補助メディアを再生する。一方、スケジュール補助メディアは、レギュラーメディアのコンテンツのうち関連部分で再生を始め、補助メディアの特性に従って異なるが、その再生は、ユーザーの要請時、チャンネルの変更時、又は補助メディアデータの完全な消耗時に終了する。
【０００４】
従来技術のＤＶＢ(Digital  Video  Broadcasting)標準であるＥＴＳＩ(European  Telecommunication  Standard  Institute) ＴＳ(Telecommunications  Standard）１０２  ８２３Ｖ１.１.１(２００５-１１)では、補助メディアに類似したデータを補助データとして定義する。本明細書では、ＭＭＴ(ＭＰＥＧ(Moving Picture Experts Group)  Media Transport)標準(ＩＳＯ(International  Organization  for  Standardization/ＩＥＣ(International  Electrotechnical  Commission)ＪＴＣ１(Joint  Technical  Committee  1)/ＳＣ２９(Sub Committee  29)/ＷＧ１１(Working Group 11))によると、補助データの概念は、ブロードキャストネットワークとインターネット両方ともを用いてデータが受信される異種ネットワーク環境でのスマートＴＶに適合するように拡張される。ＭＭＴ標準では、用語“アセット”は、ストリームに類似した概念として使用される。この明細書では、部分的なメディア圧縮データストリームを示す部分メディアストリームは、従来のブロードキャスト標準でのＷｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージに追加され、これらは補助アセット(adjunct  asset)と定義される。レギュラーメディアの圧縮データストリームは、レギュラーアセットと定義される。
【０００５】
図１は、従来技術による部分メディアストリームを示す。
【０００６】
図１を参照すると、立体(stereoscopic)ビデオは、左眼及び右眼視点の画像を含み、このうち左眼画像１１１，１１３，１１５は、レギュラーアセット１１０として伝送され、右眼画像１２１は、所定期間(例えば、１分)でのみ補助アセット１２０として伝送される。この場合、受信器は、補助アセット１２０をインターネットを介して予めダウンロードし、ブロードキャストネットワークを介してリアルタイムでレギュラーアセット１１０を受信する場合に、相互にフレーム単位で同期して再生することによって、所定期間での時区間で立体ビデオサービスを提供できる。
【０００７】
従来のＭＰＥＧ-２ ＤＳＭ-ＣＣ(Digital Storage Media-Command and Control)標準(ＩＳＯ/ＩＥＣ１３８１８-６：１９９８)又はＤＶＢ(Digital Video Broadcasting)標準(ＥＴＳＩ  ＴＳ１０２ ８２３Ｖ１.１.１)では、コンテンツメタデータ又は補助データをオーディオ又はビデオと同期化するために、メディア同期化クロックであるＭＰＥＧ-２のシステムタイムクロック(ＳＴＣ)の代わり、プログラムアイテムごとにタイムライン(timeline)を別途に構成して使用する。これは、ＳＴＣに基づいたＰＣＲ(Program  Clock  Reference)に不連続点が存在する可能性があり、ＰＣＲは、プログラムアイテムの開始から終了まで固定レートで増加する連続的タイムラインを構成するために使用できないためである。プログラムアイテム別タイムラインは、ＭＰＥＧ−２ ＤＳＭ-ＣＣ標準でメタデータコンテンツタイムラインと呼ばれ、ＤＶＢ標準ではＤＶＢブロードキャストタイムラインと呼ばれる。２個の標準でのタイムラインは構成方式及び名称は異なるが、これらは、レギュラーメディアと補助メディアとの同期化のためのタイムライン(以下、“メディアタイムライン”と称する)である。従来技術のメディアタイムラインに基づき、メタデータはビデオセグメントと関連され、あるいは補助データはビデオと同期化が実行される。
【０００８】
図２Ａ〜図２Ｄは、従来技術のＭＰＥＧ-２ ＤＳＭ-ＣＣ標準でのメタデータコンテンツタイムラインによるアプリケーションの同期化を示す。
【０００９】
図２Ａ〜図２Ｄを参照すると、アプリケーションは補助アセットであり、レギュラーアセットであるビデオと同期化される。図２Ｃは、正規プログラムのビデオに対するメタデータコンテンツタイムラインを示す。このタイムラインは、ビデオの開始から終了まで再生時間による連続的なタイムラインであるが、スタジオ内の編集の必要性に応じて新たなシーンが分単位の時間から始まる場合、１分以内の不連続区間が含まれてもよい。図２Ｄは、図２Ｃに示すプログラムの間に挿入される広告のメタデータコンテンツタイムラインを示す。図２Ａ〜図２Ｄでは、広告中に特定時点で広告製作者の意図通りに実行される補助アセットであるアプリケーションが存在する。図２Ｂは、図２Ｃ及び図２Ｄをブロードキャストネットワークを介して伝送する場合、ＭＰＥＧ-２システム標準のＳＴＣによるタイムラインを示す。ＳＴＣベースのタイムライン上に、不連続区間は、ストリーム編集、ストリームスプライシング(splicing)により存在する。ＳＴＣベースのタイムライン上に特定時点を指定し、指定された時点でアプリケーションを実行するために、同一広告を伝送する度に変化する該当時点でのＳＴＣは、新しく読み取ってアプリケーションのＰＴＳ(Presentation  Time  Stamp)として伝送される。ＭＰＥＧ-２  ＤＳＭ-ＣＣ標準では、このような不便さを解消するために、図２Ａに示すように伝送されるが、アプリケーションが実行される時点は、メタデータコンテンツタイムラインＢに基づいて指定される。この場合、広告開始時点からの相対的な時間差は、アプリケーションの実行時点として指定され、この時点の実行は、広告を伝送する度に変更なしに固定される。しかしながら、受信器は、このような同期化のために、メタデータコンテンツタイムラインＡとメタデータコンテンツタイムラインＢを再構成、維持、及び管理しなければならない。
【００１０】
図２Ａ〜図２Ｄに示すように、メディアタイムラインを受信器で構成するために、サーバは、メディアタイムライン構成のための制御情報を別途のストリームとして伝送すべきである。このプロセスは、別途のＴＳパケットストリームを必要とし、別途のＰＩＤ(Packet  IDentifier)は、このストリームに割り当てるべきである。また、サーバは、このような別途のストリームを通じて多様なディスクリプタ(descriptor)を周期的に伝送し、受信器は、このようなディスクリプタを読み取って処理することによってメディアタイムラインを構成しなければならない。また、レギュラーメディアと補助メディアとの間の同期化のために、補助メディア開始時点に対するメディアタイムライン上の値は、補助メディアに付着されたタイムスタンプで伝送され、受信器は、このタイムスタンプをＳＴＣ上の値に変換しなければならないことによって、メディア再生同期を達成できる。
【００１１】
図３は、従来技術によるＤＶＢ標準(ＥＴＳＩ  ＴＳ１０２  ８２３Ｖ１.１.１)でのＤＶＢブロードキャストタイムラインによるアプリケーション同期化を示す。
【００１２】
サーバは、ＤＶＢブロードキャストタイムラインを受信器に転送するために、ヘッダーにＰＴＳを包含し、ｂｒｏａｄｃａｓｔ_ｔｉｍｅｌｉｎｅ_ｄｅｓｃｒｉｐｔｏｒをＰＥＳ(Packetized  Elementarty  Stream)パケットを通じて伝達して情報対(ＤＶＢブロードキャストタイムライン値、ＰＴＳ値)を周期的に伝送する。各プログラムセグメントのタイムラインは、ＤＶＢブロードキャストタイムラインに基づいて決定される。
【００１３】
図３を参照すると、各プログラムセグメントの時間は、必ず０から開始する必要はなく、正規プログラム及び広告のＤＶＢブロードキャストタイムラインが相互に連続される。これは、受信側がＤＶＢブロードキャストタイムライン上の不連続点を検出して広告のみを削除することを防止するためである。アプリケーションが実行される時点である(３)部分に対応するＳＴＣ値は、(３)部分直前、すなわち(１)及び(２)部分に伝送された２対の情報(すなわち、ＤＶＢブロードキャストタイムライン値及びＰＴＳ値)を用いて外挿法(extrapolation)により推定することができる。さらに、受信側は、メディアタイムラインを構成して維持及び管理しなければならないので、送信側は、メディアタイムラインのための制御情報を伝送し、受信器は、この制御情報を周期的に読み取って処理しなければならないという問題があった。
【００１４】
したがって、メディアタイムラインを設定せずにレギュラーメディアと補助メディアとの間の同期化を実行する方法及び装置が要求される。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
従って、本発明は、上記した従来技術の問題点に鑑みてなされたものであって、その目的は、メディアタイムラインを構成せずに、レギュラーメディアと補助メディアとの間の同期化を達成する同期化方法及び装置を提供することにある。
【００１６】
また、本発明の他の目的は、受信器によりブロードキャストネットワーク又は通信ネットワークを介して受信された、メディアに関連した補助データをメディアサービスプロバイダにより指定された時点でメディアのコンテンツと同期してメディアメディと共に再生する同期化方法及び装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記のような目的を達成するために、本発明の一態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する方法が提供される。その方法は、ブロードキャストサービスのための構成情報(ＣＩ)を受信して格納するステップと、構成情報からブロードキャストサービスのために提供される主メディアデータの位置情報を確認し、位置情報に従って主メディアデータを受信するステップと、構成情報に含まれた、主メディアデータに対する補助データを包含する補助メディアデータの位置情報を確認し、位置情報により補助メディアデータを受信して格納するステップと、構成情報に含まれた補助メディアデータの開始情報を確認し、補助メディアデータを開始情報と関連した主メディアデータと同期化して実行するステップとを有する。
【００１８】
本発明の他の態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置が提供される。その受信装置は、ブロードキャストサービスを提供する主メディアデータを受信して復号化するデコーダと、ブロードキャストサービスのためのＣＩを受信して格納する補助メディア情報格納部と、構成情報に含まれた、主メディアデータに関する補助データを含む補助メディアデータの位置情報を確認し、位置情報により補助メディアデータを受信して格納する補助メディアデータキャッシュと、構成情報に含まれた補助メディアデータの開始情報を確認し、補助メディアデータを開始情報に関連した主メディアデータと同期化して実行する実行部とを含む。
【００１９】
また、本発明の他の態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する方法が提供される。その方法は、ブロードキャストサービスのために提供される主メディアデータを受信するステップと、主メディアデータに対する補助データを含む補助メディアデータに関する制御情報を受信して格納するステップと、制御情報に含まれた補助メディアデータの位置情報を確認し、位置情報により補助メディアデータを受信して格納するステップと、補助メディアデータの識別子が主メディアデータのヘッダーに含まれる場合に、補助メディアデータの識別子に対応する格納された補助メディアデータを読み取り、ヘッダーに含まれた同期化情報により主メディアデータと同期化して実行するステップとを有する。
【００２０】
さらに、本発明の他の態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置が提供される。その受信装置は、ブロードキャストサービスのために提供される主メディアデータを受信して復号化するデコーダと、主メディアデータに対する補助データを含む補助メディアデータに対する制御情報を受信して格納する補助メディア情報格納部と、制御情報に含まれた補助メディアデータの位置情報を確認し、位置情報に従って補助メディアデータを受信して格納する補助メディアデータキャッシュと、補助メディアデータの識別子が主メディアデータのヘッダーに含まれる場合、補助メディアデータの識別子に対応する格納されている補助メディアデータを読み取り、ヘッダーに含まれた同期化情報により主メディアデータと同期化して実行する実行部とを含む。
【発明の効果】
【００２１】
本発明は、受信側でメディアタイムラインを構成せずに、簡単な方法を通じてレギュラーメディアと補助メディアとの間の同期化を達成することができる。それによって、本発明は、受信器がメディアタイムラインを構成して維持及び管理しなくてもよく、送信側はメディアタイムラインのための制御情報を伝送しなくてもよく、受信器は、制御情報を周期的に読み取って処理する負担がないという効果を有する。
【００２２】
本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
【図面の簡単な説明】
【００２３】
【図１】従来技術による部分メディアストリームを示す図である。
【図２Ａ】従来技術により、ＭＰＥＧ-２  ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。
【図２Ｂ】従来技術により、ＭＰＥＧ-２  ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。
【図２Ｃ】従来技術により、ＭＰＥＧ-２  ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。
【図２Ｄ】従来技術により、ＭＰＥＧ-２  ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。
【図３】従来技術により、ＤＶＢ標準(ＥＴＳＩ  ＴＳ１０２  ８２３Ｖ１.１.１)におけるＤＶＢブロードキャストタイムラインによるアプリケーション同期化を示す図である。
【図４】本発明の一実施形態による補助アセット同期化のための受信器を示す図である。
【図５】本発明の一実施形態による受信器での同期化方法を示すフローチャートである。
【図６】本発明の他の実施形態による受信器での同期化方法を示す図である。
【図７】本発明の他の実施形態による受信器での同期化方法を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【００２５】
次の説明において、具体的な構成及び構成要素のような特定詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
【００２６】
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
【００２７】
本願明細書に記載の各要素は、文脈中に特に明示しない限り、複数形を含むことは、当業者には理解できるものである。したがって、例えば、コンポーネント表面（a component surface）”との記載は、１つ又は複数の表面を含む。
【００２８】
“実質的に(substantially)”という用語は、提示された特徴、パラメータ、又は値が正確に設定される必要はないが、許容誤差、測定誤り、測定精度限界及び当業者に知られているか、あるいは当業者によって実験なしに得られる要素を含む偏差又は変化が、これら特性が提供しようとする効果を排除しない範囲内で発生することを意味する。
【００２９】
まず、本発明の実施形態の説明に先立って、ここで使用される用語は、次のように定義される。
【００３０】
メディアサービス：オーディオ、ビデオ、イメージ、テキスト、グラフィック、対話形アプリケーションのような多様なメディアのうち一つ以上のメディアを用いて情報を伝送するサービス。
【００３１】
フォアグラウンドメディアサービス：ビデオサービス、オーディオサービス、電子プログラムガイド(ＥＰＧ)サービス、プッシュ型ＶｏＤ(Video  on  Demand)サービス、ポータブルサービスのように一つの時点で視聴者が選択して楽しむように視聴者に直接提供された有料又は無料メディア商品。
【００３２】
バックグラウンドメディアサービス：ファイルダウンロードのためのカルーセル(carousel)、インターネットを通じる事前ダウンロード(pre-download)のようにフォアグラウンドメディアサービスを補助するが、視聴者に直接提供されないメディア配信サービス。
【００３３】
ビデオサービス：ビデオが主なサービスであって、付随するオーディオを必ず提供し、他の言語のオーディオ、字幕、対話形アプリケーション、その他の付加データが共に提供される。
【００３４】
オーディオサービス：オーディオが主となるサービスであって、これに関連したビデオ又はイメージ、対話形アプリケーション、及びその他の付加データがオーディオと共に提供される。
【００３５】
対話形アプリケーション：ビデオ又はオーディオサービスの消費中に実行され、視聴者に情報を提供し、視聴者の反応を受信してメディアサービスを制御し、あるいはメディアオペレータのサーバに情報を配信するソフトウェアであって、宣言型(declarative)及び手続き型(procedural)言語によるソフトウェアを総称する。このアプリケーションは、視聴中であるビデオ又はオーディオサービスと関連してメディアオペレータにより呼び出され、現在使用されているメディアサービスに関係なくメディアオペレータにより呼び出されることもある。また、受信器キャッシュに既に格納され、視聴者により認知された対話形アプリケーションは、視聴者の要求により呼び出されることもする。
【００３６】
レギュラーメディア：メディアサービスの要件上提供される必要があるメディア。例えば、オーディオサービスのオーディオ又はオーディオにより伴うビデオサービスのビデオとオーディオ。
【００３７】
補助メディア：メディアサービスの要件上提供される必要はないが、必要に応じて提供されるメディア。例えば、このメディアは、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージ、補助メディア構成要素などを含む。補助メディアは、常にレギュラーメディアと共に消費され、単独で消費することができない。
【００３８】
メディア構成要素：メディアを構成する要素。例えば、立体ビデオの場合、左眼視点画像と右眼視点画像がメディア構成要素である。他の例として、５.１チャンネルオーディオの場合、各チャンネルオーディオがメディア構成要素であり得る。
【００３９】
補助メディア構成要素：独立的に一つのメディアを構成せず、他のメディア構成要素と一緒にメディアを構成するメディア構成要素。例えば、２Ｄ(Dimensional)/３Ｄ時間混合型サービスで左眼及び右眼視点の画像のうち、左眼視点画像が常に２Ｄ画像として提供される状況で、立体ビデオ区間でのみ提供される右眼視点画像は補助メディア構成要素である。
【００４０】
アセット：メディア構成要素に対する符号化データ。ここで、符号化は、圧縮符号化、標準フォーマットに対する符号化を称する。
【００４１】
レギュラーアセット(regular  asset)：レギュラーメディアのメディア構成要素に対する符号化データ。ここで、符号化は、圧縮符号化、標準フォーマット向けの符号化を意味する。
【００４２】
副アセット(adjunct  asset)：補助メディアのメディア構成要素又は補助メディア構成要素に対する符号化データ。ここで、符号化は、圧縮符号化、標準フォーマット向けの符号化を意味する。
【００４３】
プログラム：メディアサービスのインスタンス(instance)(すなわち、一つのブロードキャストチャンネルの全体コンテンツ)
【００４４】
プログラムアイテム：プログラムのうち時区間集合のコンテンツ。例えば、１本の映画内に開始広告、中間広告、及び最後広告が混合方式で転送される場合、プログラムアイテムは、広告を含む映画の時区間のコンテンツである。ここで、各広告は、個別的なプログラムアイテムであるが、他のプログラムアイテムに含まれた内蔵型(embedded)プログラムアイテムである。プログラムは、内蔵型を除いたプログラムアイテムをタイムライン上で連結した結果である。
【００４５】
パッケージ：プログラムアイテムに対する符号化データ。これは、アセットと、このアセットに対する伝送、復号化、再生などに関連した制御情報を含む。
【００４６】
主アセット(primary  asset)：レギュラーアセットのうち補助アセットに関する同期化情報が含まれるレギュラーアセット。例えば、主アセットは、ビデオストリームのＭユニットの付加情報(attached  information)として補助アセットの同期化及び制御情報を含むことができる。
【００４７】
付加情報：アセットに関する制御情報、記述(description)情報のような追加情報。この付加情報は、論理的用語であって、伝送階層における複数階層のヘッダー内に含まれ、この場合にはヘッダー情報と呼ばれる。
【００４８】
ストリームアセット：ビデオストリーム、オーディオストリームのように時間的に無限に生成できるメディア圧縮データ形態のアセット
【００４９】
非ストリームアセット：ストリームアセットに該当しないアセット
【００５０】
Ｍユニット：アセットのサブ要素。ＭＭＴ  ＭＰＵとも称される。ストリームアセットのＭユニットは、一度にメディアデコーダに入力される最小データ単位であって、その復号化結果は、メディアによる時点又は時区間で示される。例えば、ビデオストリームの場合、一つのフレームを圧縮した結果は一つのＭユニットであり、オーディオストリームの場合に、２４ｍｓ間のオーディオサンプルの圧縮結果は一つのＭユニットであり得る。
【００５１】
以下、添付の図面を参照して、本発明の実施形態による同期化方法について説明する。
【００５２】
レギュラーアセットと副アセットとの同期化を制御するためには、次のような事項を考慮しなければならない。
【００５３】
副アセットの開始時点を主アセットのライムライン上の所望する時点と同期化するために、この同期化は、フレーム単位で実行しなければならない。同期化は、主アセットがビデオである場合にはビデオフレーム単位で実行される。主アセットがオーディオである場合には、オーディオフレーム単位で精密に同期化が実行される。この同期化を達成するメカニズムは、できるだけ効率の良いことが必要である。例えば、同期化のために転送されなければならないシグナリング情報の構成は可能な限り簡単であり、そのデータ量は最大限少ない必要がある。主アセットに同期化できる副アセットは、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージのような非ストリーム型の補助メディア構成要素だけでなく、ストリーム型の補助メディア構成要素も含まれなければならない。また、受信器は、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージ、補助メディア構成要素のような副アセットタイプを確認できる。副アセットは、ブロードキャスト事業者により指定された時点、受信器で副アセットのダウンロードが完了した時点、視聴者により選択された時点、及び他の副アセットから呼び出された時点のうち一つ以上でも実行されるべきである。副アセット識別子は、副アセットの実行に必要な所定期間で副アセットがグローバルに固有に識別されるように割り当てられなければならない。副アセットが読み取られる位置としては、同一のブロードキャスト事業者により提供されるブロードキャストチャンネル内のカルーセル又はインターネットＵＲＬ(Uniform Resource Locator)が指定されることが必要である。副アセットがいくつかのファイルを含む場合、開始ファイル(例えば、Ｗｅｂ文書の開始ページ）は、指定する必要がある。副アセットを読み取る位置が指定される場合、効率的な表示方法を使用すべきである。副アセットがメディアサービスに縛られて(bound)いるか否かを受信器に通知する。一つのメディアサービスに縛られる副アセットは、該当メディアサービスの終了時に自動で終了する。副アセットの実行が安全であるか否かを受信器に通知すべきである。このために、ブロードキャスト事業者が直接製作し、あるいは副アセットの実行が安全であるか否かを決定し、副アセットが安全であることを受信器に通知する。数個の副アセットが同時に実行される場合、副アセット間の優先順位は、受信器に通知される。副アセット記述情報の構成は、以前システムと互換的に拡張可能にする必要がある。例えば、副アセット記述情報は、後続するディスクリプタが以前システムをサポートする受信器の誤動作なしに追加構成を有することが必要である。
【００５４】
以下、次の要求事項を満たすための同期化方法の実施形態について説明する。
【００５５】
後述する図４〜図７及び、本発明の原理を説明するために使用される多様な実施形態は、単にその実施例を示すものに過ぎず、本発明の範囲を限定するものとして捉えてはならない。本発明の原理が適切に配列された通信システムで実現できることは、当該技術分野で通常の知識を有する者には明らかである。これらは、但し発明の理解を助けるために提供されるもので、それらの使用と定義が本発明の範囲を限定しないことは理解されなければならない。‘第１’、‘第２’のように序数は同一の用語を有するオブジェクト間の区別のために使用され、別に明確に記述されていない限り、発生順序を示すことではない。セットは少なくとも一つの要素を含む、空いていないセットに定義される。
【００５６】
図４は、本発明の実施形態による副アセット同期化のための受信器を示す。
【００５７】
図４を参照すると、受信器は、インターネットファイルダウンローダ４０１、カルーセルハンドラ４０３、ＡＡＴ(Adjunct  Asset  Table)パーサ４０５、主アセットデコーダ４０７、副アセットキャッシュ４０９、副アセット情報格納部４１１、副アセットハンドラ４１３、コンポジタ４１５、レンダラ４１７、及びディスプレイ部４１９を含む。
【００５８】
すべての副アセットに関する記述情報は、制御情報として、主アセットと別に制御情報ストリームとして受信側に伝送される。この制御情報ストリームは、ＡＡＴを含む。ＡＡＴパーサ４０５は、ブロードキャストネットワークから受信された制御情報ストリームからＡＡＴをパーシングして副アセット情報格納部４１１に格納する。ＡＡＴは、各副アセット別に識別子(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄ)、タイプ(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅ)、実行属性(ｅｘｅｃｕｔｉｏｎ_ａｔｔｒｉｂｕｔｅ)、受信可能な受信器の能力(ｈａｎｄｌｅｒ_ｃａｐａｂｉｌｉｔｙ)、副アセット位置(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ)、要求される格納空間(ｒｅｑｕｉｒｅｄ_ｓｔｏｒａｇｅ)、有効期限(ｅｘｐｉｒａｔｉｏｎ)、ディスプレイ上の位置(ｄｉｓｐｌａｙ_ｐｏｓｉｔｉｏｎ)のような情報を含む。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄは、副アセットを識別するための識別子であって、グローバルに又はメディアサービス内で固有に副アセットを定義することができる。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒは、副アセットに該当するリソースデータが読み取られる位置を指定する。同一のソースデータが複数の位置から読み取られる場合、ＡＡＴは、一つの副アセットに対して複数のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを含むことができる。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒにより指定される位置の例としては、様々なカルーセル(すなわち、ＤＳＭ-ＣＣ(Digital  Storage  Media-Commandand  and  Control)データカルーセル、ＤＳＭ-ＣＣオブジェクトカルーセル、ＦＬＵＴＥ(File  Delivery  Over  Unidirectional  Transport)）、インターネットＵＲＬ(Uniform  Resource  Locator)であり得る。図４において、インターネットファイルダウンローダ４０１は、副アセット情報格納部４１１に格納されたａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを参照してインターネットＵＲＬから副アセットファイルをダウンロードする。カルーセルハンドラ４０３は、副アセット情報格納部４１１に格納されたａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを参照してブロードキャストネットワークのオブジェクトカルーセルを通じて副アセットをダウンロードする。ダウンロードされた副アセットは、キャッシュ内部ファイル経路が指定された後に副アセットキャッシュ４０９に格納され、このように指定されたキャッシュ内部ファイル経路は、副アセット情報格納部４１１のｆｉｌｅ_ｐａｔｈ_ｉｎ_ｃａｃｈｅフィールドに格納される。
【００５９】
副アセットをレギュラーアセットと同期化するために、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄは、主アセットのＭユニットヘッダーに挿入される。ＭユニットヘッダーはＰＴＳ(Presentation  Timestamp)を含むため、Ｍユニットヘッダーに含まれたＰＴＳは、別途の計算なしに、Ｍユニットヘッダーに含まれたａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄにより識別される副アセットの実行時点を示すＰＴＳとして使用される。ビデオＭユニットがフレーム、スライス、又は同一のフレームからのスライスを有するので、主アセットがビデオである場合、この同期化方法は、ビデオフレーム単位の同期化を可能にする。オーディオフレームが２４ｍｓの長さを有すると、オーディオが主アセットである場合、すなわちａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄがオーディオＭユニットヘッダーに挿入される場合、この方法は、２４ｍｓ単位の同期化を達成できる。一つ以上の副アセットが同時に実行される必要がある場合、同一のＭユニットヘッダーは、副アセットの個数と同一な複数のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄを含む。Ｍユニットヘッダーは、実行中である副アセットを制御するためのａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌフィールドを含む。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌは、副アセットを実行し、あるいは副アセットの実行を中断するための命令を伝達できる。
【００６０】
受信器がリアルタイムでブロードキャストネットワークを介して主アセットストリームを受信する場合、主アセットデコーダ４０７は、ユニットヘッダーがａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄを含むか否かを判定し、実行するか否かを判定した後に、副アセット情報格納部４１１で一致するａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄを検索して該当副アセットの情報を参照する。この副アセットを実行することが必要である場合、コンポジタ４１５は、副アセットハンドラ４１３を通じて副アセットキャッシュ４０９から該当副アセットを読み取って復号化又は説明して処理し、その結果をＭユニットヘッダーで指定されたＰＴＳで主メディアと同期化し、副アセット情報格納部４１１から指定されたディスプレイの位置に副アセットをコンポジションした後にレンダラ４１７によりレンダリングし、ディスプレイ部４１９を通じてレンダリング結果を表示する。コンポジタ４１７により主アセットと副アセットとの同期化は、同一のｐｒｅｓｅｎｔａｔｉｏｎ_ｔｉｍｅｓｔａｍｐにより達成される。
【００６１】
同期化情報が伝送誤りにより伝送されない場合、該当副アセットは実行できない。したがって、伝送誤りにも関わらず、副アセットを実行し、あるいはその実行確率を増加させるために、同一のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄは、複数の主アセットＭユニットヘッダーに含まれる。例えば、４〜５個の隣接した主アセットＭユニットのヘッダーに副アセットに対する命令“実行(run)”又は“中断(kill)”を反復的に挿入することによって実行確率を向上させる。この場合、最初にａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄが挿入された時点が意図した実行時点であると、伝送誤りにより実行時点が遅延される。副アセットが対話形アプリケーションである場合、このような実行遅延は、視聴者の経験品質(ＱｏＥ)にほとんど影響を及ぼさない。
【００６２】
副アセットが立体ビデオのための部分メディアストリームである場合、フレーム単位の正確な同期化が要求されるので、上記のような方法は使用できない。この場合、ｓｙｎｃ_ｃｏｕｏｎｔは、Ｍユニットヘッダーに挿入されて同期化時点までカウントダウンする。例えば、４個の連続する主アセットＭユニットヘッダーにｓｙｎｃ_ｃｏｕｎｔを‘３’，‘２’，‘１’，‘０’の順に配信することによって、受信器は、正確な同期化時点を認知できる。ｓｙｎｃ_ｃｏｕｎｔが‘０’である時点が意図した同期化時点である場合、伝送誤りによるｓｙｎｃ_ｃｏｕｎｔが２であるＭユニットヘッダーのみが受信され、他のｓｙｎｃ_ｃｏｕｎｔを含むＭユニットヘッダーが受信されない。以後、現在Ｍユニット以後の第２のＭユニットのＰＴＳは、該当副アセットの実行時点である。ビデオＭユニットにこの方法を適用するために、ｓｙｎｃ_ｃｏｕｎｔは、フレームの最初のスライスを含むＭユニットのみに挿入され、あるいは同一のｓｙｎｃ_ｃｏｕｎｔは、同一のフレームに属するスライスから獲得したＭユニットに挿入される。受信器は、ｓｙｎｃ_ｃｏｕｎｔに該当するフレーム以後のフレームのＰＴＳを副アセットの実行時点として認識する。
【００６３】
次に、本発明の実施形態によるＡＡＴについて説明する。
【００６４】
ＡＡＴの構文(syntax)は、以下の＜表１＞に示すようである。‘ｆｏｒｍａｔ’列のコンテンツ定義は、ＭＰＥＧ-２システム標準(ＩＳＯ /ＩＥＣ １３８１８-１：２００７)に従う。＜表１＞の‘ｖａｌｕｅ’列に表示されないループカウントは、長さを表す値から誘導される値である。ここで、他の表にも同一の原則が適用される。
【００６５】
【表１】
2014530558.tif 000003
【００６６】
＜表１＞において、各フィールドは、次のような意味を有する。
【００６７】
ｔａｂｌｅ_ｉｄ：表のタイプを示す識別子。ＡＡＴに該当する固有値を割り当てる。
【００６８】
ｖｅｒｓｉｏｎ_ｉｄ：ＡＡＴの構成を示す識別子。表の構成が標準の修正により変更される場合、このフィールドの値も変更される。受信器は、このフィールドの値を調べ、この表が理解できるか否かを判定する。
【００６９】
ｓｕｂ_ｔａｂｌｅ_ｉｄ：表がいくつかのサブ表に分けられて伝送する場合、このフィールドは、各サブ表を識別する。
【００７０】
ｕｐｄａｔｅ_ｖｅｒｓｉｏｎ：ＡＡＴは周期的に伝送されるので、ＡＡＴのコンテンツが直前に伝送された同一のｓｕｂ_ｔａｂｌｅ_ｉｄを有するＡＡＴと異なる場合、このフィールドの値は増加される。最大値‘１５’以後に、この値は‘０’に変わる。受信器は、このフィールドの値が変わる場合、ＡＡＴのコンテンツを再び読み取ってパーシングする。
【００７１】
ｔａｂｌｅ_ｌｅｎｇｔｈ：次のフィールドからＡＡＴの最後バイトまでのバイト数。‘０’の値は使用されない。
【００７２】
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｃｏｕｎｔ：次のｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列の個数。ｌｏｃａｔｏｒ_ｐｒｅｆｉｘは、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒで提供されるｌｏｃａｔｏｒ文字列の前に最後に‘/'を追加して連結されることによって、ＵＲＬを形成する。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒでは、ｌｏｃａｔｏｒ_ｐｒｅｆｉｘは、その登場順序をインデックスとして使用して参照する。この‘０ｘＦＦ’値は、フィールド向けに使用されない。したがって、最大２５５個のｌｏｃａｔｏｒ_ｐｒｅｆｉｘは含まれない。
【００７３】
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｌｅｎｇｔｈ：ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列の長さ
【００７４】
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｂｙｔｅ：ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列のバイト。最後のヌル(null)バイトは、このｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列に含まれない。
【００７５】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅ：副アセットのタイプ。例えば、固有値は、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージ、補助メディア構成要素のように、各タイプに割り当てられる。このａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅの値は、次の構文ループ内の副アセットに同一に適用される。
【００７６】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１：次の構文ループ内に説明された副アセットの数より一つ小さい値。この値は、最大２５６個の副アセットを表示できる。同一のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅを有する副アセットの個数が２５６を超える場合、これら副アセットは、２個以上の構文ループを用いて記述される。
【００７７】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄ：副アセットを識別する４８ビットのグローバルな固有識別子。この固有性(uniqueness)は、所定時間でのみ維持され、所定時間以後には識別子は、再使用が可能である。グローバルな識別子になるために、このフィールドは、３２ビットのｐｒｏｖｉｄｅｒ_ｉｄｅｎｔｉｆｉｅｒと１６ビットのａｓｓｅｔ_ｉｄｅｎｔｉｆｉｅｒの２部分に分類される。 ｐｒｏｖｉｄｅｒ_ｉｄｅｎｔｉｆｉｅｒは登録機関により指定されて各プロバイダに登録され、ａｓｓｅｔ_ｉｄｅｎｔｉｆｉｅｒは各プロバイダにより管理される。
【００７８】
ｅｘｅｃｕｔｉｏｎ_ａｔｔｒｉｂｕｔｅ：このフィールドは、副アセットを受信すると、受信器が副アセットを実行する方法を示し、次のフィールドを含む。
【００７９】
ｅｘｅｃｕｔｉｏｎ_ｏｎ_ｒｅｃｅｐｔｉｏｎ：受信器により受信された副アセットを副アセットキャッシュに格納した後に“直ちに実行”するか否かを示すフラグ。副アセットが直ちに実行されない場合に、ユーザーの選択又は他の副アセットからの呼び出しの際に、本発明の実施形態で提案する同期化方法により指定される時点で実行がなされ得る。このフラグが‘１’である場合、ｅｘｅｃｕｔｉｏｎ_ｅｎｔｒｙ_ｐｏｉｎｔは、‘１’に設定される。
【００８０】
ｍｅｄｉａ_ｓｅｒｖｉｃｅ_ｂｏｕｎｄ：副アセットがｍｅｄｉａ_ｓｅｒｖｉｃｅ_ｂｏｕｎｄであるか否かを示すフラグ。このフラグが‘１’である場合、副アセットがメディアサービスに縛られることを示し、副アセットは、ブロードキャストチャンネルの変更が発生される場合に自動で終了する。
【００８１】
ｅｘｅｃｕｔｉｏｎ_ｅｎｔｒｙ_ｐｏｉｎｔ：副アセットが直接実行されることを示すフラグ。このフラグが‘０’である場合、副アセットは、他の副アセットにより間接的に実行される。
【００８２】
ｖｉｓｉｂｌｅ_ｔｏ_ｕｓｅｒ：ユーザーが副アセットナビゲーション機能を用いて副アセットを選択的に実行できるか否か、あるいは他の副アセットが受信器により提供されるＡＰＩ(Application  Programming  Interface)を介して副アセットリストを検索する場合に副アセットが見えるか否かを示す２ビットフィールド。ｖｉｓｉｂｌｅ_ｔｏ_ｕｓｅｒの意味は、以下の＜表２＞及び＜表３＞に示すようである。
【００８３】
【表２】
2014530558.tif 000004
【００８４】
【表３】
2014530558.tif 000005
【００８５】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｐｒｉｏｒｉｔｙ：副アセットの実行優先順位を表すフィールド。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｐｒｉｏｒｉｔｙの高い値は、より高い優先順位を意味する。副アセットを実行するための受信器のリソースが不足した場合、現在実行中である副アセットのうち最低優先順位を有する副アセットは、まず中止又は終了する。
【００８６】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ_ｃｏｕｎｔ_ｍｉｎｕｓ１：副アセットを読み取る位置の数より一つ小さい値。最大４個の位置は、２ビットを用いて提供され得る。２個以上の位置が提供される場合、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒの登場順序は優先順位である。一つ以上のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒが登場する。
【００８７】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ：構文要素グループは、副アセットが読み取られる位置の情報を提供する。
【００８８】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒｓ_ｌｅｎｇｔｈ：このフィールドは、以後のディスクリプタ構文ループの次のバイトから最後バイトまでの範囲でバイト数を提供する。
【００８９】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒ：多様なディスクリプタは、このディスクリプタ構文ループに含まれる。
【００９０】
Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｏｄｅ(ＣＲＣ)_３２：ＭＰＥＧ-２システム標準(ＩＳＯ/ＩＥＣ  １３８１８-１:２００７)のセクション構文で定義したＣＲＣ_３２と同一のフィールドである。
【００９１】
以下、副アセット位置情報(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ)について詳細に説明する。
【００９２】
リソースデータ位置情報であるａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒは、副アセットが読み取られる位置を示す。副アセットは、ブロードキャストネットワークのカルーセルを通じて転送され、あるいはインターネットを介してダウンロードされる。ＡＡＴは、各副アセットごとに一つ以上のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを含まれなければならない。受信器は、最初に登場するａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒにより指定される位置から副アセットを読み取り、誤りが発生する場合には、受信器は、次のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒにより指定される位置から副アセットを読み取る。
【００９３】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒの構文は、以下の＜表４＞のように示す。＜表４＞は、インターネットの場合のみを含み、カルーセルの場合に、構文は、カルーセルにより変わることができる。したがって、本明細書の目的のために、詳細は、＜表４＞に含まれない。
【００９４】
【表４】
2014530558.tif 000006
【００９５】
＜表４＞の各フィールドの意味は、以下に提供される。
【００９６】
ｌｏｃａｔｏｒ_ｔｙｐｅ：副アセットが読み取られる位置がインターネットであるか、あるいはブロードキャストネットワークのカルーセルであるかを示し、位置がカルーセルであり、多様なタイプのカルーセルが一緒に使用される場合のカルーセルタイプを示す８ビットフィールドである。
【００９７】
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｉｎｄｅｘ：＜表１＞のｌｏｃａｔｏｒ_ｐｒｅｆｉｘのうち一つを指定するインデックス。このフィールドの値が“０ｘＦＦ”である場合、これは、ｌｏｃａｔｏｒ_ｐｒｅｆｉｘが使用されないことを意味する。
【００９８】
ｄｉｒｅｃｔｏｒｙ_ｐａｔｈ_ｌｅｎｇｔｈ：次のディレクトリ経路の長さ。文字列の最後のヌルバイトは含まれない。このフィールドの値が‘０’である場合、ディレクトリ経路は使用されない。
【００９９】
ｄｉｒｅｃｔｏｒｙ_ｐａｔｈ_ｂｙｔｅ：ディレクトリ経路のバイト。文字列の最後のヌルバイトは含まれない。
【０１００】
ｅｎｔｒｙ_ｐａｔｈ_ｌｅｎｇｔｈ：次の最初ページファイル経路の長さ。文字列の最後のヌルバイトは含まれない。このフィールドは、副アセットがＷｅｂページのような複数のファイルを含む場合にのみ意味を有する。副アセットが単一ファイルである場合、このフィールドは‘０’の値を有する。
【０１０１】
ｅｎｔｒｙ_ｐａｔｈ_ｂｙｔｅ：最初のページファイル経路のバイト。文字列の最後ヌルバイトは使用されない。
【０１０２】
ｏｂｊｅｃｔ_ｃｏｕｎｔ：次のファイル経路の数。このフィールドが‘０’の値を有する場合、ディレクトリ全体が指定される。
【０１０３】
ｏｂｊｅｃｔ_ｐａｔｈ_ｌｅｎｇｔｈ：次のファイル経路の文字列の長さ。文字列の最後ヌルバイトは含まれない。
【０１０４】
ｏｂｊｅｃｔ_ｐａｔｈ_ｂｙｔｅ：ファイル経路のバイト。文字列の最後ヌルバイトは含まれない。
【０１０５】
例えば、インターネット副アセット位置情報を用いるＵＲＬ構成は、次のように説明される。この実施形態の副アセットは、複数のファイルを含むＷｅｂページである。
【０１０６】
＜表１＞のｌｏｃａｔｏｒ_ｐｒｅｆｉｘは“http://www．example．com”であり、ディレクトリ経路は“ｉｎｔｅｒａｃｔｉｖｅ_ａｐｐｌｉｃａｔｉｏｎｓ/ａｐｐ０００１”であり、エントリ経路は“index.htm”であり、ｏｂｊｅｃｔ_ｃｏｕｎｔは‘０’の値を有する場合、副アセットのすべてのリソースは、“www.example.com/interactive_applications/app0001”のディレクトリ内に存在し、最初ページのＵＲＬは、“http://www.example.com/interactive_applications/app0001/index.htm”である。
【０１０７】
以後、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒについて説明する。＜表１＞のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒは、多様なディスクリプタを含むことができる。副アセットを処理可能な受信器の能力を表すｈａｎｄｌｅｒ_ｃａｐａｂｉｌｉｔｙ_ｄｅｓｃｒｉｐｔｏｒ()、副アセットキャッシュ管理のためのメモリ量、有効期限などを表すａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃａｃｈｅ_ｄｅｓｃｒｉｐｔｏｒ()、副アセットが画面に表示されるディスプレイ上の位置を表すｄｉｓｐｌａｙ_ｐｏｓｉｔｉｏｎ_ｄｅｓｃｒｉｐｔｏｒ()、ユーザーに表示される副アセットの名称を提供するａｄｊｕｎｃｔ_ａｓｓｅｔ_ｎａｍｅ_ｄｅｓｃｒｉｐｔｏｒ()、ユーザーに表示される副アセットのアイコンの提供を示すａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｃｏｎ_ｄｅｓｃｒｉｐｔｏｒ()は、上記ディスクリプタであり得る。これらディスクリプタは、主アセットと副アセットとの同期化には関係なく、本発明の目的のために、ここで、ディスクリプタの構文及びその意味は提供されない。
【０１０８】
以後、Ｍユニットヘッダーの副アセット同期化情報について説明する。ＭＭＴで定義されるＭユニットヘッダーの他のフィールドは省略され、ここで提案される技術に関連して追加される必要があるフィールド、すなわちａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｆｏを中心として、Ｍユニットヘッダーの構文及び各フィールドの意味について説明する。Ｍユニットヘッダーの構文は、以下の＜表５＞に示すようである。
【０１０９】
【表５】
2014530558.tif 000007
【０１１０】
＜表５＞の各フィールドは、以下のような意味を有する。
【０１１１】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｕｎｔ：このフィールドの値が‘０’より大きい場合、Ｍユニットと同期される副アセットがあることを意味する。
【０１１２】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄ：このＭユニットと同期される副アセットの識別子。このフィールドのフォーマットは、上記の＜表１＞で規定するようである。
【０１１３】
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌ：副アセットに適用される制御のタイプを示すフィールド。
【０１１４】
その値の意味は、以下の＜表６＞に示すようである。
【０１１５】
【表６】
2014530558.tif 000008
【０１１６】
ｓｙｎｃ_ｃｏｕｎｔ：伝送誤りに対する耐性を高めるために、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏが複数のＭユニットのヘッダーに連続して挿入される場合に同期化時点を示すフィールド。このフィールドは、‘０’から‘１５’までの値を有する。このフィールドの値として‘０’を有するＭユニットは、副アセットが同期化される時点である。例えば、フィールド値‘０’を有するＭユニットに含まれるｐｒｅｓｅｎｔａｔｉｏｎ_ｔｉｍｅｓｔａｍｐは、副アセットの制御の実行時間である。このフィールドを用いて伝送誤りによる遅延なしに同期化を正確に達成するために、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏの挿入は同期化時点前から開始し、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏは、ｓｙｎｃ_ｃｏｕｎｔが‘１５’以下の選択された正の値から一つずつ減少させて‘０’になるまで連続してＭユニットヘッダーに反復的に挿入される。伝送誤りによりいくらかの遅延が発生する場合、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏは、 ｓｙｎｃ_ｃｏｕｎｔを‘０’に維持したまま、連続してＭユニットヘッダーに反復的に挿入される。副アセットに対して同一のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌ値に対してｓｙｎｃ_ｃｏｕｎｔ値が‘０’を有するＭユニットを反復して受信する場合、最初に受信した制御命令は実行し、以後に受信する命令は無視する。
【０１１７】
図５は、本発明の実施形態による受信器における同期化方法を示すフローチャートである。
【０１１８】
図５を参照すると、ステップ５０１において、受信器は、ブロードキャストネットワークを介して送信側から主アセットストリームを受信し、主アセットストリームとは別途にＡＡＴを含む制御情報を受信し、ＡＡＴをパーシングして副アセット情報格納部に格納する。ステップ５０３において、受信器は、格納されているＡＡＴからａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを決定してその値に従ってインターネットＵＲＬ又はブロードキャストネットワークのオブジェクトカルーセルを通じて副アセットファイルをダウンロードし、この副アセットファイルを副アセットキャッシュに格納する。ステップ５０５において、受信器は、主アセットストリームのＭユニットヘッダー内のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄとＰＴＳを決定する。すると、受信器は、副アセット情報格納部でａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄと一致する副アセットに関する情報を検索して副アセットキャッシュから該当副アセットを読み取る。その後、ステップ５０７において、受信器は、ＰＴＳにより指示される時点で主アセットと同期して副アセットを実行する。
【０１１９】
以下、本発明の他の実施形態によるメディアデータ同期化方法について説明する。
【０１２０】
本発明の他の実施形態では、‘M24227，Proposed text of Working Draft for MPEG  Media Transport，Geneva，Switzerland，April 2012’に定義されているＭＰＵヘッダーのＭＰＵ_Ｉｄｅｎｔｉｆｉｅｒ(ＭＭＴ処理ユニット識別子)が使用される。Ｍ２４２２７文書によれば、ＭＰＵ_Ｉｄｅｎｔｉｆｉｅｒは、ランダムアクセスポイント(ＲＡＰ)フラグとｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒを含む。ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒは、一つのＭＭＴアセット内の固有値であり、ＭＰＵごとに１ずつ増加する。したがって、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒは、異なるアセットが同期化される特定時点を指定するために使用できる。ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒの固有性の範囲は必要に応じて調整可能であり、例えば、この固有性は、１日で維持することができる。固有性の範囲を満たすために、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒの長さは変更が可能である。副アセット同期化のためにｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒを使用する他の利点は、誤りに対する回復力及び同期化時点の予測である。ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒはＭＰＵごとに１ずつ増加するので、受信器は、ＭＰＵの損失にもかかわらず、適合した時点を探して副アセットの同期化を行う。さらに、受信器が副アセットの同期化以前に事前準備の必要性による同期化時点を予測する必要がある場合、現在のｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒを用いて同期化時点を容易に予測できる。ＭＰＥＧのＭ２４２２７文書には、コンテンツの情報、時空間的配置及び同期に使用されるＣＩがある。ＣＩにおいて、“ｂｅｇｉｎ”属性は、アセット同期化に使用される。本発明の一実施形態では、“ｂｅｇｉｎ”属性に“ＭＰＵ-Ｓｅｑｕｅｎｃｅ-Ｎｕｍｂｅｒ-Ｖａｌｕｅ”の追加を提案する。
【０１２１】
ＭＰＵ-Ｓｅｑｕｅｎｃｅ-Ｎｕｍｂｅｒ-Ｖａｌｕｅは、下記のように定義される。
【０１２２】
ＭＰＵ-Ｓｅｑｕｅｎｃｅ-Ｎｕｍｂｅｒ-ｖａｌｕｅ::＝Ｉｄ_ｖａｌｕｅ“．ＭＰＵ(“ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ”)”[“＋”|“-”ｆｒａｍｅ_ｏｆｆｓｅｔ  “ｆｒａ”]
【０１２３】
上記した定義で使用される用語は、下記に提供されるように定義される。
【０１２４】
Ｉｄ_ｖａｌｕｅ：副アセットが同期化される主アセットのＸＭＬ(Extensible  Markup  Language)識別子
【０１２５】
Ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ：同期化時点情報を含むＭＰＵのシーケンス番号
【０１２６】
Ｆｒａｍｅ_ｏｆｆｓｅｔ：このフィールドは、同期化する主アセットと副アセットが両方ともビデオ又はオーディオである場合に使用される。オーディオフレームの場合、フレーム内の第１のサンプルの再生時点は、同期化基準時点である。したがって、ビデオの場合、フレーム単位で正確な同期が可能である。しかしながら、オーディオの場合には、オーディオフレームの１/２まで誤りがあり得る。ｍｐｕ-ｓｅｑｕｅｎｃｅ-ｎｕｍｂｅｒから相対値は、同期化時点を示すために適用される。‘＋５’は、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒにより指示されるＭＰＵ内のディスプレイ順序で第１のフレームから５番目のフレーム(すなわち、ＭＰＵ内のディスプレイ順序で第６のフレーム)と同期化が実行されることが必要であることを意味する。‘−１０’は、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒにより指示されるＭＰＵ内のディスプレイ順序で第１のフレームと同期化される副アセット内のフレームが、第１のフレームから１０番目のフレーム(すなわち、副アセットのディスプレイ順序で第１１のフレーム)であることを意味する。
【０１２７】
本発明の実施形態はＣＩに適用され、次の実施形態で使用される。
【０１２８】
主アセットが第１のアセットで、そのＸＭＬ  ｉｄがａｓｓｅｔ１_ｉｄで、副アセットが第２のアセットで、ＣＩで第２のアセットのｂｅｇｉｎ属性がｂｅｇｉｎ＝“ａｓｓｅｔ１_ｉｄ．ＭＰＵ（１２３）＋５ｆｒａ”である場合、ａｓｓｅｔ２は、ａｓｓｅｔ１のＭＰＵのうちｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ＝１２３を有するＭＰＵ内の６番目のフレームでａｓｓｅｔ１と同期化される必要があることを意味する。
【０１２９】
このような同期化方法の実施形態によると、主アセットと副アセットは、主アセットのヘッダーとＣＩの主アセットに対する説明を変更せずに同期化できる。
【０１３０】
図６は、本発明の他の実施形態による受信器の同期化方法を示す。
【０１３１】
図６を参照すると、ＣＩは、ＬｏＡ(List  of  Assets)とＳＴＩＡ(Spatial  and  Temporal  Information  of  MMT  Assets)を含む。ＬｏＡは、パッケージ内に含まれたアセットのリストと各アセットのＩＤを含む。図６において、ａｓｓｅｔ１_ｉｄは、主アセット、例えばビデオデータであり、ａｓｓｅｔ２_ｉｄは副アセット、例えばイメージデータである。ＳＴＩＡは、各アセットに対する記述を含む。図６において、ａｓｓｅｔ１_ｉｄの“ｂｅｇｉｎ”属性値は‘０’であり、ａｓｓｅｔ２_ｉｄのｂｅｇｉｎ属性値は“ａｓｓｅｔ１_ｉｄ．ＭＰＵ(１２３)”である。
【０１３２】
受信器がデータを同期化する場合、受信器は、ＣＩに含まれた副アセットの説明を決定し、ｂｅｇｉｎ属性を通じて該当副アセットを主アセットと同期化する方法を決定する。図６では、ａｓｓｅｔ１_ｉｄ及びａｓｓｅｔ２_ｉｄは、ａｓｓｅｔ１_ｉｄのＭＰＵのうち、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ＝１２３を有するＭＰＵの開始時点で同期化する。
【０１３３】
図７は、本発明の他の実施形態による受信器の同期化方法を示すフローチャートである。
【０１３４】
図７を参照すると、受信器は、ステップ７０１で、送信側からＣＩを受信して副アセット情報格納部に格納する。受信器は、ステップ７０３で、格納されているＣＩから主アセットの位置を決定して主アセットストリームを受信する。ステップ７０５において、受信器は、ＣＩから副アセットの位置を決定し、副アセットファイルをダウンロードして格納する。ステップ７０７において、受信器は、ＣＩでダウンロードされた副アセットに対する説明を決定し、この説明内のｂｅｇｉｎ属性を通じて副アセットの開始位置を決定する。ステップ７０９において、受信器は、副アセット情報格納部から当該副アセットを読み取り、ｂｅｇｉｎ属性により指示される主アセットの位置、すなわちＭＰＵシーケンス番号と同期して副アセットを実行する。
【０１３５】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【符号の説明】
【０１３６】
１１０  レギュラーアセット
１１１  正規プログラム
１１３  広告
１１５  正規プログラム
１２０  補助アセット
１２１  広告
４０１  インターネットファイルダウンローダ
４０３  カルーセルハンドラ
４０５  ＡＡＴパーサ
４０７  主アセットデコーダ
４０９  副アセットキャッシュ
４１１  副アセット情報格納部
４１３  副アセットハンドラ
４１５  コンポジタ
４１７  レンダラ
４１９  ディスプレイ
【図１】
2014530558.tif 000009
【図２Ａ】
2014530558.tif 000010
【図２Ｂ】
2014530558.tif 000011
【図２Ｃ】
2014530558.tif 000012
【図２Ｄ】
2014530558.tif 000013
【図３】
2014530558.tif 000014
【図４】
2014530558.tif 000015
【図５】
2014530558.tif 000016
【図６】
2014530558.tif 000017
【図７】
2014530558.tif 000018
【国際調査報告】
2014530558.tif 000019
2014530558.tif 000020