(57)【要約】  コンテンツディスプレイ方法を開示する。本発明の多様な実施形態に係るコンテンツディスプレイ方法は、コンテンツディスプレイ方法において、外部装置からマークアップ言語で作成されたコンテンツに関する初期場面構成情報を受信するステップと、初期場面構成情報を分析して構造化するステップと、構造化された初期場面構成情報に応じてコンテンツをレンダリングするステップと、外部装置からコンテンツに関する追加場面構成情報を受信するステップと、受信された追加場面構成情報に基づいて、構造化された初期場面構成情報をアップデートするステップと、アップデートされた初期場面構成情報に応じてコンテンツをレンダリングするステップとを含む。
2014534695.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツディスプレイ方法において、
外部装置からマークアップ言語で作成されたコンテンツに関する初期場面構成情報を受信するステップと、
前記初期場面構成情報を分析して構造化するステップと、
前記構造化された初期場面構成情報に応じて前記コンテンツをレンダリングするステップと、
前記外部装置から前記コンテンツに関する追加場面構成情報を受信するステップと、
前記受信された追加場面構成情報に基づいて、前記構造化された初期場面構成情報をアップデートするステップと、
前記アップデートされた初期場面構成情報に応じて前記コンテンツをレンダリングするステップと
を含むコンテンツディスプレイ方法。
【請求項２】
前記アップデートステップは、
前記受信された追加場面構成情報に対応する追加的な構成を前記構造化された初期場面構成情報に付加したり、
前記受信された追加場面構成情報に対応する代替的な構成を前記構造化された初期場面構成情報の中の一部構成に代替したり、
前記受信された追加場面構成情報に応じて、前記構造化された初期場面構成情報の中の一部構成を削除することを特徴とする請求項１に記載のコンテンツディスプレイ方法。
【請求項３】
前記マークアップ言語は、
ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  ＭａｒｋＵｐ  Ｌａｎｇｕａｇｅ）であり、
前記構造化ステップは、
前記初期場面構成情報をパーシング（ｐａｒｓｉｎｇ）してＤＯＭツリー（ＤＯＭ  ｔｒｅｅ）を構成することを特徴とする請求項１に記載のコンテンツディスプレイ方法。
【請求項４】
前記アップデートステップは、
前記受信された追加場面構成情報に対応するツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーに追加したり、
前記受信された追加場面構成情報に対応する代替的なツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーの中の一部ノードに代替したり、
前記受信された追加場面構成情報に応じて、前記構成されたＤＯＭツリーの中の一部ノードを削除することを特徴とする請求項３に記載のコンテンツディスプレイ方法。
【請求項５】
コンテンツ同期化方法において、
放送網を通じて伝送ストリームを受信するステップと、
前記受信された伝送ストリームを分析するステップと、
前記分析結果、前記伝送ストリームに含まれた第１コンテンツがマルチビューコンテンツであると判断されると、通信網を通じて前記第１コンテンツに対応する第２コンテンツを受信するステップと、
前記伝送ストリームに含まれた第１コンテンツ及び前記受信された第２コンテンツを同時に出力するステップと
を含むコンテンツ同期化方法。
【請求項６】
前記伝送ストリームを分析するステップは、
ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）に含まれた情報を分析し、前記マルチビューコンテンツの提供有無を判断し、前記ＰＭＴは、フレームナンバー、マルチビューコンテンツＰＴＳ、ＰＴＳ開始値及びＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ開始値のうち、少なくとも１つを含むことを特徴とする請求項５に記載のコンテンツ同期化方法。
【請求項７】
前記第２コンテンツを受信するステップは、
ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップと、
前記第１コンテンツのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値が前記マルチビューコンテンツのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値と一致する前記第１コンテンツのフレーム番号に対応する前記第２コンテンツのセグメントを受信するステップと
を含むことを特徴とする請求項５に記載のコンテンツ同期化方法。
【請求項８】
前記第２コンテンツを受信するステップは、
ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップと、
前記第１コンテンツの現在のフレームのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値とＰＴＳ開始値との差に基づいて、前記第１コンテンツの現在のフレーム番号を計算し、前記第１コンテンツの現在のフレーム番号に対応する前記第２コンテンツのセグメントを受信するステップと
を含むことを特徴とする請求項５に記載のコンテンツ同期化方法。
【請求項９】
前記第２コンテンツを受信するステップは、
ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップと、
前記第１コンテンツのＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ値とＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ開始値との差に基づいて、前記第１コンテンツの時間情報を計算し、前記第１コンテンツの時間情報に対応する前記第２コンテンツのセグメントを受信するステップと
を含むことを特徴とする請求項５に記載のコンテンツ同期化方法。
【請求項１０】
前記第２コンテンツのセグメントを受信するステップは、
通信網の遅延を考慮し、前記第１コンテンツの現在のフレームより予め設定された数のフレームの後に位置したフレームに対応する第２コンテンツを受信することを特徴とする請求項８に記載のコンテンツ同期化方法。
【請求項１１】
放送コンテンツディスプレイ方法において、
第１サーバがマークアップ言語で作成された第１コンテンツの場面構成情報を伝送するステップと、
前記伝送された第１コンテンツの場面構成情報に基づいて前記第１コンテンツを伝送してレンダリングするステップと、
第２コンテンツ視聴イベントが発生すると、第２サーバが第２コンテンツを伝送してレンダリングするステップと
を含むことを特徴とする放送コンテンツディスプレイ方法。
【請求項１２】
前記第２コンテンツ視聴イベントが発生すると、前記第１コンテンツのレンダリングを中断し、前記第２コンテンツのレンダリングが終わるイベントが発生すると、前記第１コンテンツレンダリングが中断された地点から継続して前記第１コンテンツをレンダリングすることを特徴とする請求項１１に記載の放送コンテンツディスプレイ方法。
【請求項１３】
前記第２コンテンツ視聴イベントが発生すると、前記第２サーバは、前記第２コンテンツを前記第１コンテンツと同期化して伝送し、レンダリングすることを特徴とする請求項１１に記載の放送コンテンツディスプレイ方法。
【請求項１４】
ディスプレイ装置において、
外部装置からマークアップ言語で作成されたコンテンツに関する初期場面構成情報及び前記コンテンツを受信する受信部と、
前記受信されたコンテンツを出力する出力部と、
前記初期場面構成情報を分析して構造化し、前記構造化された初期場面構成情報に応じて前記コンテンツをレンダリングして出力するように制御する制御部と
を含み、
前記制御部は、
前記受信部が前記外部装置から前記コンテンツに関する追加場面構成情報を受信すると、前記受信された追加場面構成情報に基づいて、前記構造化された初期場面構成情報をアップデートし、前記アップデートされた初期場面構成情報に応じて前記コンテンツをレンダリングして出力するように制御することを特徴とするディスプレイ装置。
【請求項１５】
前記アップデート過程は、
前記受信された追加場面構成情報に対応する追加的な構成を前記構造化された初期場面構成情報に付加したり、
前記受信された追加場面構成情報に対応する代替的な構成を前記構造化された初期場面構成情報の中の一部構成に代替したり、
前記受信された追加場面構成情報に応じて、前記構造化された初期場面構成情報の中の一部構成を削除することを特徴とする請求項１４に記載のディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツのディスプレイ方法に関し、より詳細には、場面構成情報をリアルタイムでアップデートしてコンテンツをディスプレイすることができるコンテンツディスプレイ方法、多様なソースから受信されたコンテンツを同期化させるコンテンツ同期化方法、放送コンテンツディスプレイ方法及び上記方法によってコンテンツをディスプレイすることができるディスプレイ装置に関する。
【背景技術】
【０００２】
図１は、放送通信融合時代の放送通信ネットワークを示す図である。
【０００３】
最近、デジタル化による放送通信融合時代が到来し、ＩＰＴＶ、スマートテレビ等の放送通信融合媒体を通じて、映像、音楽、その他のエンタテイメントコンテンツの消費環境が拡大している。図１に示すように、放送局の放送信号は、衛星信号を通じて家庭にまで伝達され、空中波放送信号を通じて、または、インターネットを通じて伝達されることもできる。消費媒体を用いて、一種のコンテンツに対するサービスを片方向で提供される環境で、端末と通信技術の発達により、多様な情報を同時に消費することができる環境に進歩しており、消費者が望む情報のみを得るためのコンテンツ消費の普遍化が流れをリードしている。
【０００４】
場面構成情報とは、ビデオオーディオだけでなく、多様なコンテンツを消費する際、それぞれの要素が画面を占めている領域に関する空間的な情報と、どの時点で消費が行われるべきかに関する時間的な情報を意味し、要素間の相関関係を説明するためにマークアップ言語の形で表現した情報である。
【０００５】
場面構成情報は、多様なマルチメディアの時空間的な情報を表現するために、主にＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  ＭａｒｋＵｐ  Ｌａｎｇｕａｇｅ）言語を使用する。場面構成情報を有しているＸＭＬは、時空間的な情報だけでなく、マルチメディアを構成している要素の論理構造との相関関係に関する情報を有しており、端末ではＸＭＬファイルを分析し、場面構成情報が含んでいる要素の客体と属性を定義し、これらに接近するためのインターフェースを定義したＤＯＭ（Ｄｏｃｕｍｅｎｔ  Ｏｂｊｅｃｔ  Ｍｏｄｅｌ）を生成するようになる。
【０００６】
上述のＸＭＬとＤＯＭ等の技術は、ウェブページを構成するための標準であるため、ウェブページの一部要素を変更しようとする際、新たなＸＭＬファイルを生成し、毎回ＤＯＭを再構成する。しかし、ウェブページが含んでいる要素は、ほとんどがテキストとイメージであるため、全要素を再び再構成するとしても、端末に大きな負担はかからない。
【０００７】
しかし、場面構成情報は、ウェブページとは異なり、ビデオ、オーディオ、Ａｐｐ等、多様なマルチメディア要素を含んでいるため、一部要素を変更する際に他の要素まで、全て再構成を行うことは端末に大きな負担をかける。
【０００８】
既存の場面構成技術を使用した場合、初期構成された場面が変更される状況で、サービス提供者は新たな場面構成情報からなるファイルを再び作って提供しなければならず、サービスを提供される端末では初期に構成された場面を削除した後、再び新たな場面を構成しなければならない。場面を構成している複数の要素の中に一部要素のみが変更される状況で、変更する必要のない要素まで新たに生成して分析をすることは、制限された端末のリソースを非効率的に使用する結果をもたらすようになる。
【０００９】
よって、初期構成された場面を構成している複数の要素の中に一部要素のみが変更される場合、変更された部分のみをアップデートし、効率的に場面を構成することができる方策が求められる。
【００１０】
一方、放送通信融合のハイブリッド技術は、一般の視聴者に既存の放送網を用いてリアルタイム放送視聴することができるようにすると同時に、通信網で付加映像及びアプリケーション等に対する双方向通信で、ＩＰ  ＶＯＤ、広告、３Ｄ映像サービス、マルチビュー等の多様なサービスを提供する技術で発展している。
【００１１】
二重マルチビューサービスは、視聴者が放送通信融合サービスを通じて既存の放送網で提供されるリアルタイムコンテンツとインターネットで提供されるコンテンツを１つの画面で視聴することができるようにし、ユーザに様々な時点と多様な情報を同時に提供するサービスである。このようなマルチビューサービスを提供するためには、互いに異なる伝達方式で伝達されたメディアを同期化させて同時に消費することができるように、共通した時間情報が必要である。しかし、異種網で伝達されるメディアの規格化した時間情報は、形態及び目的が異なるため、同期化を提供することができないという問題点があった。
【００１２】
既存の放送網で受信されたＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）は、時間情報を放送局システムの内部にあるクロック（Ｃｌｏｃｋ）を使用し、各フレーム別に該当するＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）／ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を挿入し、時間情報として使用する。端末で、放送局のクロック値を受信してビデオとオーディオと間の同期化を取るようになる。そして、通信網で受信したメディアのうち、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔａｔｉｏｎ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）技術を使用することは、時間情報を各フレーム別にインデックス値を挿入し、時間情報を表示する。よって、この両メディア間の時間情報の形態が互いに異なり、個別技術としては互いに同期化を提供することができない。
【００１３】
よって、上述のマルチビューコンテンツを含み、多様な相互関連するコンテンツを伝送することができるハイブリッドサービス環境で異種網で伝達されるメディア間の同期化方策が求められる。
【００１４】
一方、ハイブリッド放送は、既存のＰｕｓｈ基盤のストリーミングサービスを時間を基盤としてユーザが消費する伝統的な方法だけでなく、ユーザの要求に応じて新たなコンテンツを提供、消費、中断されるユーザイベント基盤のサービスが提供される。
【００１５】
よって、ハイブリッド放送を受信する端末は、単にビデオ／オーディオコンテンツを時間の流れによって、ユーザに映すのではなく、ユーザの要求に応じて、コンテンツ消費のスケジュールを決定し、それを基盤として各場面に該当するコンテンツを受信して消費する。
【００１６】
すなわち、多様なコンテンツを放送通信が融合された異種のネットワークを通じて伝達される場合、放送網は時間の流れによって、コンテンツを伝達し、通信網はユーザの要求によるコンテンツを伝達するようになるため、サービス供給者から端末の消費者まで多様なサービス方策を提示することができるようになった。
【００１７】
ＭＭＴ  ＰａｃｋａｇｅのＣｏｍｐｏｓｉｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ（ＣＩ）の役割は、以前のＭＰＥＧ−4  ＳｙｓｔｅｍｓのＢＩＦＳとＬＡＳｅＲの役割と類似するように、場面構成情報が含んでいる各要素の時空間的な情報と要素との間の相関関係を記述するものである。既存場面構成情報（例えば、ＬＡＳｅＲ、ＢＩＦＳ）は、放送環境を基盤とするＳｃｅｎｅ  Ｔｉｍｅというタイムラインを基準にし、要素の時間的な情報を示す。しかし、ＭＭＴのＵｓｅ  Ｃａｓｅが含むユーザの要求によるサービスシナリオを満たすためには、既存のタイムラインの存在によってユーザの要求によるイベント処理が困難になるおそれがある。
【００１８】
なお、既存場面構成情報は、全てのイベントに対するサービススケジュールを予めコンテンツ制作者が送出時間を決定してサービスを行っているため、サービス中に新たなコンテンツが追加される場合、新たに追加されたコンテンツに対するタイムラインを以前にサービスされているタイムラインと関連付けるのには多くの困難があった。よって、複数のメディアが個別的にユーザの要求によって消費される場合、それぞれのメディアに対するユーザの要求を１つのタイムラインで構成するのには限界があった。
【００１９】
よって、放送局のタイムラインによらず、多様なコンテンツディスプレイイベントが発生する場合、必要に応じて、複数のコンテンツを適切に配置してディスプレイすることができる方策が求められる。
【発明の概要】
【発明が解決しようとする課題】
【００２０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的は、第１に、場面構成情報の中の一部要素を変更する際に、他の要素は再構成せずに、変更されるべき要素のみを再構成することにある。すなわち、本発明は、場面構成情報を使用するマルチメディアサービス環境で、初期に構成された場面を基準に変更されるべき要素に関する情報のみを伝達し、既存に構成された場面に変更されるべき場面構成情報をアップデートする方法を提供するためのものである。
【００２１】
さらに、第２に、マルチビューを含む複数のビデオ、オーディオマルチメディアサービスのために、互いに異なる物理的な伝送方式で伝達されたコンテンツを一画面で同時に再生させるための同期化方策を提供することにある。
【００２２】
すなわち、本発明は、通信網で伝達されるコンテンツの時間情報を計算することができる参照情報を放送網のＭＰＥＧ−２  ＴＳまたは通信網のメディアに含めて伝達する方法を提供する。より具体的に、本発明は、放送網で伝達されるＭＰＥＧ−２  ＴＳパケットのうち、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）情報に特定データ情報を追加したり、通信網で伝達されるメディアメタデータに追加することで、放送網と通信網で伝達されるメディア間の同期化を取ることができる時間情報を提供する方法に対する技術を提案する。
【００２３】
なお、第３に、放送局のタイムラインによらず、多様なコンテンツディスプレイイベントが発生する場合、必要に応じて、複数のコンテンツを適切に配置してディスプレイすることができる技術を提供することにある。
【課題を解決するための手段】
【００２４】
以上のような目的を達成するための本発明の一実施形態に係るコンテンツディスプレイ方法は、コンテンツディスプレイ方法において、外部装置からマークアップ言語で作成されたコンテンツに関する初期場面構成情報を受信するステップと、前記初期場面構成情報を分析して構造化するステップと、前記構造化された初期場面構成情報に応じて前記コンテンツをレンダリングするステップと、前記外部装置から前記コンテンツに関する追加場面構成情報を受信するステップと、前記受信された追加場面構成情報に基づいて、前記構造化された初期場面構成情報をアップデートするステップと、前記アップデートされた初期場面構成情報に応じて前記コンテンツをレンダリングするステップとを含む。
【００２５】
なお、前記アップデートステップは、前記受信された追加場面構成情報に対応する追加的な構成を前記構造化された初期場面構成情報に付加したり、前記受信された追加場面構成情報に対応する代替的な構成を前記構造化された初期場面構成情報の中の一部構成に代替したり、前記受信された追加場面構成情報に応じて、前記構造化された初期場面構成情報の中の一部構成を削除してよい。
【００２６】
なお、前記マークアップ言語は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  ＭａｒｋＵｐ  Ｌａｎｇｕａｇｅ）であり、前記構造化ステップは、前記初期場面構成情報をパーシング（ｐａｒｓｉｎｇ）してＤＯＭツリー（ＤＯＭ  ｔｒｅｅ）を構成してよい。
【００２７】
なお、前記アップデートステップは、前記受信された追加場面構成情報に対応するツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーに追加したり、前記受信された追加場面構成情報に対応する代替的なツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーの中の一部ノードに代替したり、前記受信された追加場面構成情報に応じて、前記構成されたＤＯＭツリーの中の一部ノードを削除してよい。
【００２８】
なお、前記アップデートステップは、前記追加場面構成情報が受信される度にリアルタイムで行われてよい。
【００２９】
以上のような目的を達成するための本発明の一実施形態に係るコンテンツ同期化方法は、コンテンツ同期化方法において、放送網を通じて伝送ストリームを受信するステップと、前記受信された伝送ストリームを分析するステップと、前記分析結果、前記伝送ストリームに含まれた第１コンテンツがマルチビューコンテンツであると判断されると、通信網を通じて前記第１コンテンツに対応する第２コンテンツを受信するステップと、前記伝送ストリームに含まれた第１コンテンツ及び前記受信された第２コンテンツを同時に出力するステップとを含む。
【００３０】
なお、前記伝送ストリームを分析するステップは、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）に含まれた情報を分析し、前記マルチビューコンテンツの提供有無を判断してよい。
【００３１】
なお、前記第２コンテンツを受信するステップは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップと、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値が前記マルチビューコンテンツのＰＴＳ値と一致する前記第１コンテンツのフレーム番号に対応する前記第２コンテンツのセグメントを受信するステップとを含んでよい。
【００３２】
なお、前記第２コンテンツを受信するステップは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップと、前記第１コンテンツの現在のフレームのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値とＰＴＳ開始値との差に基づいて、前記第１コンテンツの現在のフレーム番号を計算し、前記第１コンテンツの現在のフレーム番号に対応する前記第２コンテンツのセグメントを受信するステップとを含んでよい。
【００３３】
なお、前記第２コンテンツを受信するステップは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップと、前記第１コンテンツのＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ値とＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ開始値との差に基づいて、前記第１コンテンツの時間情報を計算し、前記第１コンテンツの時間情報に対応する前記第２コンテンツのセグメントを受信するステップとを含んでよい。
【００３４】
なお、前記第２コンテンツのセグメントを受信するステップは、通信網の遅延を考慮し、前記第１コンテンツの現在のフレームより予め設定された数のフレームの後に位置したフレームに対応する第２コンテンツを受信してよい。
【００３５】
以上のような目的を達成するための本発明の一実施形態に係る放送コンテンツディスプレイ方法は、放送コンテンツディスプレイ方法において、第１サーバがマークアップ言語で作成された第１コンテンツの場面構成情報を伝送するステップと、前記伝送された第１コンテンツの場面構成情報に基づいて前記第１コンテンツを伝送してレンダリングするステップと、第２コンテンツ視聴イベントが発生すると、第２サーバが第２コンテンツを伝送してレンダリングするステップとを含む。
【００３６】
なお、前記第２コンテンツ視聴イベントが発生すると、前記第１コンテンツのレンダリングを中断し、前記第２コンテンツのレンダリングが終わるイベントが発生すると、前記第１コンテンツレンダリングが中断された地点から継続して前記第１コンテンツをレンダリングしてよい。
【００３７】
なお、前記第２コンテンツ視聴イベントが発生すると、前記第２サーバは、前記第２コンテンツを前記第１コンテンツと同期化して伝送し、レンダリングしてよい。
【００３８】
以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、ディスプレイ装置において、外部装置からマークアップ言語で作成されたコンテンツに関する初期場面構成情報及び前記コンテンツを受信する受信部と、前記受信されたコンテンツを出力する出力部と、前記初期場面構成情報を分析して構造化し、前記構造化された初期場面構成情報に応じて前記コンテンツをレンダリングして出力するように制御する制御部とを含み、前記制御部は、前記受信部が前記外部装置から前記コンテンツに関する追加場面構成情報を受信すると、前記受信された追加場面構成情報に基づいて、前記構造化された初期場面構成情報をアップデートし、前記アップデートされた初期場面構成情報に応じて前記コンテンツをレンダリングして出力するように制御してよい。
【００３９】
なお、前記アップデート過程は、前記受信された追加場面構成情報に対応する追加的な構成を前記構造化された初期場面構成情報に付加したり、前記受信された追加場面構成情報に対応する代替的な構成を前記構造化された初期場面構成情報の中の一部構成に代替したり、前記受信された追加場面構成情報に応じて、前記構造化された初期場面構成情報の中の一部構成を削除してよい。
【００４０】
なお、前記マークアップ言語は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  ＭａｒｋＵｐ  Ｌａｎｇｕａｇｅ）であり、前記構造化過程は、前記初期場面構成情報をパーシング（ｐａｒｓｉｎｇ）してＤＯＭツリー（ＤＯＭ  ｔｒｅｅ）を構成してよい。
【００４１】
なお、前記アップデート過程は、前記受信された追加場面構成情報に対応するツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーに追加したり、前記受信された追加場面構成情報に対応する代替的なツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーの中の一部ノードに代替したり、前記受信された追加場面構成情報に応じて、前記構成されたＤＯＭツリーの中の一部ノードを削除してよい。
【００４２】
以上のような目的を達成するための本発明の一実施形態に係る記録媒体は、前記方法の何れか１つを行うプログラムを記録してよい。
【発明の効果】
【００４３】
以上説明したように、本発明によれば、初期に構成された場面の中の一部要素を変更すべき場合、全ての要素に関する場面構成情報を新たに生成するのではなく、変更される要素に関する構成情報のみを伝達し、現在消費されているマルチメディアサービスに対して変更された要素のみをリアルタイムでアップデートする方法に対する技術を提供するようになる。
【００４４】
場面構成情報の中の一部要素を変更する際に、他の要素は再構成せずに変更されるべき要素のみを再構成する技術は、多様なマルチメディアサービスに活用されてよい。
【００４５】
本発明で開発する場面構成情報の一部要素のみを再構成する技術は、今後、場面構成技術を使用する技術規格だけでなく、ウェブページを通じたマルチメディアサービス技術開発の方向性を提示すると期待される。
【００４６】
本発明は、異種網で伝達されるメディアが共通して使用できる同期化時間情報提供のために、放送網を通じて提供されるＭＰＥＧ２−ＴＳ上のＰＭＴ端に新たな情報を追加したり、放送網と通信網とを通じて提供されるＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅを利用する方法を通じて、時間情報の形態が異なるメディアコンテンツを同時に再生させる方法を提供する。
【００４７】
本発明に係る異種網で伝達されるメディア間の同期化方策は、放送網と通信網を活用するハイブリッドサービスを活性化させる基盤技術として活用することができる。
【００４８】
なお、本発明で開発する同期化方策は、ＭＰＥＧ−２  ＴＳと通信網を通じて伝達されるＤＡＳＨ技術を基盤としているが、今後、２つの技術規格だけでなく、多様なハイブリッド伝送技術開発の方向性を提示すると期待される。
【００４９】
なお、本発明の多様な実施形態によると、本発明は、放送局のタイムラインによらず、多様なコンテンツディスプレイイベントが発生する場合、必要に応じて、複数のコンテンツを適切に配置してディスプレイすることができる技術を提供する。
【図面の簡単な説明】
【００５０】
【図１】放送通信融合時代の放送通信ネットワークを示す図である。
【図２】本発明の一実施形態に係るコンテンツディスプレイ方法を示すブローチャートである。
【図３】図２のコンテンツディスプレイ方法をより詳細に説明するためのフローチャートである。
【図４】既存場面構成情報を使用してＸＭＬファイルを作成した例を示す図である。
【図５】既存場面構成情報に別の要素を追加してＸＭＬファイルを作成した例を示す図である。
【図６】既存場面構成情報に追加すべき要素を個別的にＸＭＬファイルで生成した例を示す図である。
【図７】図４の初期場面構成情報を生成して端末に伝達し、それを分析してＤＯＭを生成するステップを説明するための図である。
【図８】イメージが追加されたＸＭＬファイルを生成し、端末に伝達してそれを分析してＤＯＭを新たに生成するステップを説明するための図である。
【図９】変更されるべき要素のみを別に生成して伝達し、以前に生成されたＤＯＭを削除せずに、追加されるべき要素のみをアップデートする方法を示す図である。
【図１０】現在の地上波デジタル放送に使用されるＭＰＥＧ−２  ＴＳ  Ｓｙｓｔｅｍのデータ間の同期化構造を示す図である。
【図１１】ＴＳ  ＤｅＭｕｌｔｉｐｌｅｘｅｒを通じたデータ種類を区分する過程を示す図である。
【図１２】通信網で付加映像を伝送する一例としてＤＡＳＨ技術に対する過程を図示化した図である。
【図１３】本発明の一実施形態に係るコンテンツ同期化方法を示すフローチャートである。
【図１４】本発明の別の実施形態に係るコンテンツ同期化方法を示すフローチャートである。
【図１５】本発明のＰＭＴにＦｒａｍｅ＿ｎｕｍを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを追加してマルチビューメディアコンテンツ間の同期化方策を示す図である。
【図１６】本発明のＰＭＴにＩｎｉｔ＿ＰＴＳを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを追加してマルチビューメディアコンテンツ間の同期化方策を示す図である。
【図１７】本発明の放送網と通信網メディア内のＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅを用いて同期化する方策を示す図である。
【図１８】本発明が適用されるネットワーク遅延を考慮し、未来の場面を要求するマルチビューメディアコンテンツ間の同期化方策を示す図である。
【図１９】図１５のＰＭＴにＦｒａｍｅ＿ｎｕｍを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒが追加されたプログラムコードを示す図である。
【図２０】図１６のＰＭＴにＩｎｉｔ＿ＰＴＳを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒが追加されたプログラムコードを示す図である。
【図２１】本発明の多様な実施形態によって、端末がサーバと放送局との間でコンテンツを受信して同期化を行う過程を時間順に示す図である。
【図２２】イベント基盤の放送コンテンツディスプレイ方法の一実施形態として、オンデマンド（Ｏｎ  ｄｅｍａｎｄ）方式の速報シナリオを示す図である。
【図２３】別の実施形態として、プッシュ（Ｐｕｓｈ）方式の速報シナリオを示す図である。
【図２４】速報シナリオのタイムラインを示す図である。
【図２５】イベント基盤の放送コンテンツディスプレイ方法の一実施形態として、オンデマンド（Ｏｎ  ｄｅｍａｎｄ）方式の中継シナリオを示す図である。
【図２６】別の実施形態として、プッシュ（Ｐｕｓｈ）方式の中継シナリオを示す図である。
【図２７】中継シナリオのタイムラインを示す図である。
【図２８】イベント基盤の放送コンテンツディスプレイ方法の一実施形態として、オンデマンド（Ｏｎ  ｄｅｍａｎｄ）方式のマルチビューシナリオを示す図である。
【図２９】別の実施形態として、プッシュ（Ｐｕｓｈ）方式のマルチビューシナリオを示す図である。
【図３０】マルチビューシナリオのタイムラインを示す図である。
【図３１】マルチビューシナリオの一実施形態で個別メディアタイムを示す図である。
【図３２】本発明の多様な実施形態に係る放送コンテンツディスプレイ方法を示すフローチャートである。
【図３３】本発明の多様な実施形態に係る放送コンテンツディスプレイ方法を示すフローチャートである。
【図３４】速報シナリオのイベント発生時に受信される追加場面構成情報を示す例を示す図である。
【図３５】中継シナリオのイベント処理に関する情報を含む場面構成情報を示す例を示す図である。
【図３６】マルチビューシナリオのイベント処理に関する情報を含む場面構成情報を示す例を示す図である。
【図３７】本発明の多様な実施形態に係るディスプレイ装置の構成を示すブロック図である。
【発明を実施するための形態】
【００５１】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。本発明を説明するうえで、関連の公知機能或いは構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。そして、後述の用語は、本発明における機能を考慮して定義された用語として、それはユーザ、運用者の意図または慣例等に応じて異なってよい。そのため、その定義は、本明細書全般にわたる内容を基に下されるべきである。
＜場面構成情報アップデートに通じたコンテンツディスプレイ＞
まず、本発明の具体的な実施形態について説明する前に、本発明が実現できるためのいくつかの前提条件について説明する。
【００５２】
本発明で記述される場面構成情報は、マルチメディアコンテンツの時空間的な位置情報と要素との間の相関関係を説明するための情報を意味し、ＸＭＬ言語で記述される。
【００５３】
本発明で記述された場面構成情報は、初期に作成されて現在のサービスを提供している初期場面構成情報と、初期場面構成情報で変更されるべき一部要素に関する追加場面構成情報とに分けられる。
【００５４】
本発明で記述された端末機はＸＭＬファイルを分析し、ＤＯＭを構成できるようにしなければならない。本発明で記述される端末機は、追加場面構成情報が含まれたＸＭＬファイルを分析し、初期場面構成情報で生成されたＤＯＭをリアルタイムでアップデートできるようにしなければならない。
【００５５】
以下では、初期場面の中の一部が変更されるべきである場合、変更される部分のみを追加場面構成情報で別途に生成する方法と、生成された追加場面構成情報を端末に伝達する方法、伝達された追加場面構成情報を分析して初期場面構成情報からなる端末の場面構成をアップデートする方法について記述する。
【００５６】
なお、本発明では、ＸＭＬとＤＯＭ技術を使用する場面構成情報を通じたサービスにおいて記述されるが、技術分野が必ずしも場面構成情報を通じたサービスに限定される必要はなく、多様なマルチメディアを複合的に構成してサービスを提供する全分野に適用されてよい。
【００５７】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。このとき、添付図面で同一の構成要素は、同一の符号で示されていることに留意すべきである。なお、本発明の要旨を曖昧にするおそれがある公知機能及び構成に対する詳細な説明は省略する。
【００５８】
図２は、本発明の一実施形態に係るコンテンツディスプレイ方法を示すフローチャートである。
【００５９】
図２を参照すると、本発明の一実施形態に係るコンテンツディスプレイ方法は、まず、外部装置からマークアップ言語で作成されたコンテンツに対する初期場面構成情報を受信する（Ｓ２１０）。ここで、マークアップ言語は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）であってよい。
【００６０】
そして、前記初期場面構成情報を分析して構造化する（Ｓ２２０）。前記構造化ステップは、前記初期場面構成情報をパーシング（ｐａｒｓｉｎｇ）してＤＯＭツリー（ＤＯＭ  ｔｒｅｅ）を構成して行われてよい。
【００６１】
そして、前記構造化された初期場面構成情報に応じて、前記コンテンツをレンダリングする（Ｓ２３０）。初期場面構成情報に変化がある場合、前記外部装置からそれに対する追加場面構成情報を受信する（Ｓ２４０）。例えば、初期場面構成情報は、マルチメディアサービス提供者がビデオオーディオで構成された場面構成に関するものだが、イメージ要素を追加で挿入する必要がある場合、このような内容が追加された追加場面構成情報が受信される。
【００６２】
前記受信された追加場面構成情報に基づいて前記構造化された初期場面構成情報をアップデートする（Ｓ２５０）。このとき、前記アップデートステップは、前記受信された追加場面構成情報に対応する追加的な構成を前記構造化された初期場面構成情報に付加したり、前記受信された追加場面構成情報に対応する代替的な構造を前記構造化された初期場面構成情報の中の一部構成に代替したり、前記受信された追加場面構成情報に応じて、前記構造化された初期場面構成情報の中の一部構成を削除することであってよい。
【００６３】
一実施形態として、前記受信された追加場面構成情報に対応するツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーに追加したり、前記受信された追加場面構成情報に対応する代替的なツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーの中の一部ノードに代替したり、前記受信された追加場面構成情報に応じて、前記構成されたＤＯＭツリーの中の一部ノードを削除することができる。
【００６４】
なお、前記アップデートステップは、前記追加場面構成情報が受信される度にリアルタイムで行われてよい。
【００６５】
最後に、前記アップデートされた初期場面構成情報に応じて、前記コンテンツをレンダリングする（Ｓ２６０）。
【００６６】
図３は、図２のコンテンツディスプレイ方法をより詳細に説明するためのフローチャートである。
【００６７】
図３において、場面変更を要求する際に、再構成された初期場面構成情報を伝送する場合と、追加場面構成情報を伝達する場合とを比較している。初期場面構成情報（Ｓ３１０）は、サービス提供者がＸＭＬファイルを生成（Ｓ３１５）して、端末に伝達するようになり、端末は全ＸＭＬファイルを分析してＤＯＭを生成し（Ｓ３２０）、ＤＯＭ構造に応じて、それぞれの要素に対する復号化を行った後（Ｓ３２５）、レンダリングして消費するようになる手続き（Ｓ３３０）に従う。
【００６８】
その後、場面構成情報が変更されるべき時に、既存の方式の場合には、再び新たな初期場面構成情報を生成し、最初と同様の手続きを経て消費するようになる（Ｓ３４０−既存の方式の場合）。すなわち、場面構成情報を変更して新たなＸＭＬファイルを生成して端末に伝達し、端末は全ＸＭＬファイルを分析して既存に生成されたＤＯＭを削除した後、新たにＤＯＭを生成し、ＤＯＭ構造に応じて、それぞれの要素に対する復号化を再度行うようになる。なお、実際ディスプレイに消費される画面も、全部新たに構成して消費するようになる。
【００６９】
しかし、図３で示すように、本発明で行おうとする方式の場合（Ｓ３４０−提案する方式の場合）には、変更されるべき要素に関する情報のみをＸＭＬファイルで生成する（Ｓ３４５）。このとき、変更する必要がない要素まで含んだ全場面構成情報を新たに生成することと比較し、データの量は当然一部要素に対するデータがはるかに少ない。なお、データが少ないため、ＸＭＬファイルを生成するのに、使用されるサーバのリソースも少ないということが分かる。勿論、ＸＭＬファイルがテキストで構成されており、データの差が大きく影響を及ぼすことはないが、ストリーミング環境ではテキストで構成された場面構成情報をバイナリに変換して伝達するため、複雑な場面構成情報の場合には、リソース使用の差が発生する。
【００７０】
既存の方式の場合には、ＸＭＬ  Ｆｉｌｅを最初から最後まで再分析するようになる。しかし、本発明で提案しようとする場合には、変更された要素が含まれたＸＭＬ  Ｆｉｌｅのみを分析するようになるため、分析すべきデータの量が少なくなる（Ｓ３５０、Ｓ３６５）。
【００７１】
ＤＯＭを生成するステップでは、ＤＯＭを削除して新たに生成する方法と、既存のＤＯＭを維持したまま新たな要素をアップデートさせる方法とに分けられる。これまで、ＤＯＭはウェブページの特徴に応じて、主にテキストとイメージ等で構成されているため、ウェブページの一部要素が変わるとしても、全ＤＯＭを削除して再生成しても大きな負担にはならなかった。しかし、マルチメディアに使用されるＤＯＭは、ビデオとオーディオに対する構造を表現しなければならないが、ビデオに関連しない別の要素が変更されることで、ビデオの構成情報を毎回生成することは、ユーザが望むサービスを提供することができないと同時に、端末のリソースを非常に非効率的に使用するという結果をもたらすことになる。よって、本発明で提案する方式は、ＤＯＭに生成されているビデオ構成情報はそのまま維持したまま、変更されるべきオーディオ、イメージ等の要素のみをアップデートさせることで（Ｓ３６０）、ユーザに途絶えることのないサービスを提供すると同時に、端末のリソースを無駄にしないという効果を奏すると予想される。
【００７２】
図４は、既存場面構成情報を使用してＸＭＬファイルを作成した例を示す図である。
【００７３】
図４の場面構成情報は、ビデオストリームとオーディオストリームとに関するリンク情報を含んでおり、端末では当該場面構成情報を分析してＤＯＭを生成する。
【００７４】
図５は、既存場面構成情報に別の要素を追加してＸＭＬファイルを作成した例を示す図である。
【００７５】
図５の場面構成情報は、マルチメディアサービス提供者がビデオオーディオで構成された場面情報にイメージ要素を追加で挿入するために新たに作成した場面構成情報である。
【００７６】
図６は、既存場面構成情報に追加すべき要素を個別的にＸＭＬファイルで生成した例を示す図である。
【００７７】
図６の場面構成情報は、マルチメディアサービス提供者がビデオオーディオで構成された場面構成にイメージ要素を挿入するために作成した追加場面構成情報である。
【００７８】
図６の“ＩｎｓｅｒｔＳｃｅｎｅ”は、図４の初期場面構成情報に以下の要素を追加することを示す命令語であり、“Ｒｅｆ”は、初期場面構成情報の中に要素が追加されるべき対象の位置を示す。
【００７９】
追加場面構成情報は、既存場面構成情報と同様の形態であるＸＭＬファイルで記述され、既存場面構成情報の伝達方式と同様の方法で伝達される。すなわち、追加場面構成情報は、変更されるべき要素と追加されたり、削除または変更されるべき命令語に対する要素を含んでよく、サービス提供者はそれを初期場面構成情報とは別途に個別的なＸＭＬファイルで生成して端末に伝達する。
【００８０】
図７は、図４の初期場面構成情報を生成して端末に伝達し、それを分析してＤＯＭを生成するステップを説明するための図である。
【００８１】
端末では、端末構成情報７０１を受信した場合、それを分析してＤＯＭ  Ｔｒｅｅ７０２を生成し、ＤＯＭ  Ｔｒｅｅに構成された要素を消費する。
【００８２】
図８は、イメージが追加されたＸＭＬファイルを生成し、端末に伝達してそれを分析してＤＯＭを新たに生成するステップを説明するための図である。
【００８３】
端末が図７の場面構成情報を分析し、ＤＯＭ  Ｔｒｅｅを構成してサービスを提供している状況で、変更された場面構成情報８０１を受信するようになると、追加されるべきイメージ要素だけでなく、ビデオオーディオに対する全場面構成要素を再び分析し、ＤＯＭ  Ｔｒｅｅを生成しなければならない。すなわち、ＤＯＭ  Ｔｒｅｅ８０２は、ＤＯＭ  Ｔｒｅｅ７０２で単にイメージ要素が追加されたように見られるが、既存のＤＯＭ  Ｔｒｅｅ７０２を削除して新たなＤＯＭ  Ｔｒｅｅ８０２を生成するものである。
【００８４】
図８に示すように、一部要素のみを追加するために、全要素に関する場面構成情報を新たに生成し、ＤＯＭを毎回新たに生成することは、多様なマルチメディアが混合されたサービス環境で端末のリソースを非常の非効率的に使用するしかないという問題点があった。
【００８５】
このような問題点を解決するために、追加されるべき要素のみをアップデートする必要がある。
【００８６】
図９は、変更されるべき要素のみを別に生成して伝達し、以前に生成されたＤＯＭを削除せずに、追加されるべき要素のみをアップデートする方法を示す図である。
【００８７】
図９に示すように、端末が場面構成情報９０１を分析し、ＤＯＭ  Ｔｒｅｅ９０２を構成してサービスを提供している状況で、追加場面構成情報９０１’を受信するようになると、追加されるべきイメージ要素を分析し、既存の構成されたＤＯＭ  Ｔｒｅｅの別の要素に影響を及ぼすことなく、伝達された要素のみをアップデートさせる。すなわち、図８と比較し、初期に構成された場面の中の一部要素を変更すべき場合、全要素に関する場面構成情報を新たに生成するのではなく、変更される要素に関する構成情報のみを伝達し、現在消費されているマルチメディアサービスに対して変更された要素のみをリアルタイムでアップデートする方法を示している。
【００８８】
本実施形態においては、理解を促すために、一種の要素のみを追加する簡単な場合について説明してきた。しかし、追加場面構成情報のみを伝達してアップデートする技術は、既存場面構成情報に要素を追加、削除、変更する機能と要素が有している特性を追加、削除、変更する機能も、各特長が有している値を追加、削除、変更する機能を含む。
＜ハイブリッドサービス環境でコンテンツ同期化方法＞
図１０は、現在の地上波デジタル放送に使用されるＭＰＥＧ−２  ＴＳ  Ｓｙｓｔｅｍのデータ間の同期化構造を示す図である。
【００８９】
図１０を参照すると、ＭＰＥＧ−２  ＴＳのビデオ、オーディオ、データは、エンコーダを経て基礎ストリーム（Ｅｌｅｍｅｎｔ  Ｓｔｒｅａｍ）を生成する。この基礎ストリームは、パケット化作業を経てＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）と呼ばれるブロックデータ１０１を作る。このＰＥＳヘッダには、データの種類、データの長さ、データ間の同期化情報が挿入され、この同期化情報は、ＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｉｎｇ  Ｃｌｏｃｋ）を参照することで、ＤＴＳ、ＰＴＳ値を生成して各データ間の復号化及びレンダリング時点を知ることができる。そして、生成されたＰＥＳデータとＳＴＣを参照して生成されたＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）値は、ＴＳ  Ｍｕｌｔｉｐｌｅｘｅｒを通じてＴＳパケット形態で受信者に伝達するようになる。受信側は、ＴＳ  ＤｅＭｕｌｔｉｐｌｅｘｅｒを通じてオーディオ、ビデオメタデータを分類する。そいて、ＴＳヘッダのＡｄａｐｔａｔｉｏｎ  ｆｉｅｌｄ内のＰＣＲ値を抽出し、放送局と同一のＳＴＣクロックを再現し、ＰＥＳを分析（Ｄｅｐａｃｋａｋｅｔｉｚｉｎｇ）したＤＴＳとＰＴＳ値と一致する際、復号化１０２及びレンダリングを開始する。このような時間情報の形態としては、Ａ／Ｖデータ間の同期化は可能だが、当該場面の位置は分かりにくい。
【００９０】
図１１は、ＴＳ  ＤｅＭｕｌｔｉｐｌｅｘｅｒを通じたデータ種類を区分する過程を示す図である。
【００９１】
まず、受信機は、放送網で伝送されるＴＳ  Ｓｔｒｅａｍｉｎｇの中からＭＰＥＧで規定されたＰＩＤ（Ｐａｃｋｅｔ  ＩＤ）＝０のＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）パケットを探す。ＴＳ  ＤｅＭｕｌｔｉｐｌｅｘｅｒは、ＰＡＴを分析して当該チャネルで伝送されるプログラム番号とＰＭＴのＰＩＤ把握する。そして、後に受信されるＰＭＴを分析することで、当該チャネルのビデオ、オーディオ、メタデータのＰＩＤ値を把握してパケットが有するデータ種類を分類することができる。
【００９２】
図１２は、通信網で付加映像を伝送する一例としてＤＡＳＨ技術に対する過程を図示化した図である。
【００９３】
図１２を参照すると、ＤＡＳＨは、ＨＴＴＰプロトコルを使用してサーバからクライアントに要求されたメディアデータをネットワーク状況及び端末環境に合わせて適切な品質とサイズのデータを伝送するための方法である。まず、サーバはクライアントにメディアに対するメタデータ及び位置情報が記述されたｘｍｌ形態のＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）を提供する。クライアント側は、それを分析してメディアデータを復号化に必要な初期化情報を有するＩｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔを要求して受信する。そして、時間と品質に応じてグループ化されて保存したＭｅｄｉａ  Ｓｅｇｍｅｎｔを要求してネットワーク状況が良い場合に高品質のＭｅｄｉａ  Ｓｅｇｍｅｎｔを、ネットワーク状況が悪い場合に低品質のＭｅｄｉａ  Ｓｅｇｍｅｎｔを受信してＳｔｒｅａｍｉｎｇが行われる。
【００９４】
図１３は、本発明の一実施形態に係るコンテンツ同期化方法を示すフローチャートである。
【００９５】
図１３を参照すると、本発明の一実施形態に係るコンテンツ同期化方法は、伝送ストリーム受信ステップ（Ｓ１３１０）、伝送ストリーム分析ステップ（Ｓ１３２０）、伝送ストリームにマルチビューコンテンツが含まれた場合（Ｓ１３３０−Ｙ）、通信網で第１コンテンツに対応する第２コンテンツを受信するステップ（Ｓ１３４０）、第１コンテンツと第２コンテンツとを同時に出力するステップ（Ｓ１３５０）を含む。
【００９６】
ステップＳ１３１０において、放送網を通じて伝送ストリームを受信する（Ｓ１３２０）。伝送ストリームは、ＭＰＥＧ−２規約により、ビデオ、オーディオ、データ等を同時に１ストリームで伝送することができる。伝送ストリームのヘッダには、全ストリームを構成するプログラム情報、プログラムの時間情報及び全システムを制御するための制御情報等が含まれる。
【００９７】
次に、前記受信された伝送ストリームを分析する。前記伝送ストリームを分析するステップは、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）に含まれた情報を分析し、前記マルチビューコンテンツを提供するか否かを判断することができる。
【００９８】
そして、前記分析の結果、前記伝送ストリームに含まれた第１コンテンツがマルチビューコンテンツであると判断されると（Ｓ１３３０−Ｙ）、通信網を通じて前記第１コンテンツに対応する第２コンテンツを受信する（Ｓ１３４０）。第１コンテンツがマルチビューコンテンツか判断する過程については、後述する。
【００９９】
前記ステップを行い、伝送ストリームに含まれた第１コンテンツ及び前記受信された第２コンテンツを同時に出力する（Ｓ１３５０）。
【０１００】
図１４は、本発明の別の実施形態に係るコンテンツ同期化方法を示すフローチャートである。
【０１０１】
図１４を参照すると、本発明の別の実施形態に係るコンテンツ同期化方法は、伝送ストリーム受信ステップ（Ｓ１４１０）、伝送ストリーム分析ステップ（Ｓ１４２０）、伝送ストリームにマルチビューコンテンツが含まれた場合（Ｓ１４３０−Ｙ）、通信網で第１コンテンツに対応する第２コンテンツを受信するステップ、第１コンテンツと第２コンテンツとを同時に出力するステップＳ（Ｓ１４６０）を含む。前記Ｓ１４１０、Ｓ１４２０、Ｓ１４３０、Ｓ１４６０は、それぞれ上述のＳ１３１０、Ｓ１３２０、Ｓ１３３０、Ｓ１３５０と同様であるため、説明を省略する。
【０１０２】
このとき、第２コンテンツを受信するステップは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップ（Ｓ１４０４）と、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値が前記マルチビューコンテンツのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値と一致する第１コンテンツのフレーム番号に対応する前記第２コンテンツのセグメントを受信するステップ（Ｓ１４５０）を含んでよい。
【０１０３】
図１５は、本発明のＰＭＴにＦｒａｍｅ＿ｎｕｍを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを追加してマルチビューメディアコンテンツ間の同期化方策を示す図である。
【０１０４】
まず、放送網で伝達されるＴＳは、ＰＡＴを分析し（Ｓ１５１０）、ＰＭＴ＿ＰＩＤを認知してＰＭＴを分析し（Ｓ１５１５）、後述の図１９に示すＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを確認する（Ｓ１５２０）。Ｍｕｌｔｉｖｉｅｗ＿Ｆｌａｇの値が０と記述されている場合（Ｓ１５２０−Ｎ）、一般的な放送サービス（Ｓ１５４０〜Ｓ１５５５）に従い、値が１と記述されている場合（Ｓ１５２０−Ｙ）、この時からマルチビューが可能時点であることを視聴者に報知する。端末は、ＭＰＤ＿ＵＲＬに記述されたサーバアドレスによって、予めＭＰＤを要求し、それを分析し（Ｓ１５２５、Ｓ１５３０）、Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔをダウンロードして分析し、デコードを準備する（Ｓ１５３５）。そして、ＴＳパケットで受信されるＰＥＳのＰＴＳ値がｍｕｌｔｉｖｉｅｗ＿ＰＴＳと一致する場合（Ｓ１５６５−Ｙ）、Ｆｒａｍｅ＿ｎｕｍを確認して当該画面が含まれたメディアセグメントを要求し、ダウンロードした後、ＴＳとＤＡＳＨメディアを同時に再生させることで、同期化を取る（Ｓ１５７０、Ｓ１５７５、Ｓ１５５５）。
【０１０５】
それと違い、前記第２コンテンツを受信するステップは、
ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップ（図示せず）と、前記第１コンテンツの現在フレームのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）値とＰＴＳ開始値との差に基づいて、前記第１コンテンツの現在フレーム番号を計算し、前記第１コンテンツの現在フレーム番号に対応する第２コンテンツのセグメントを受信するステップ（図示せず）を含んでよい。
【０１０６】
図１６は、本発明のＰＭＴにＩｎｉｔ＿ＰＴＳを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを追加してマルチビューメディアコンテンツ間の同期化方策を示す図である。
【０１０７】
図１６も、ＰＭＴに追加されたＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを確認する（Ｓ１６２０）。Ｍｕｌｔｉｖｉｅｗ＿Ｆｌａｇが０である場合（Ｓ１６４０〜）と、ＭＰＤとＩｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔをダウン及び分析する過程（Ｓ１６２５〜）を経る。そして、視聴者がマルチビューを要求した時点から、Ｍｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒ内のＩｎｉｔ＿ＰＴＳを通じてプログラムの開視点を含む場面のＰＴＳを確認し、現在のＰＴＳからＩｎｉｔ＿ＰＴＳを引いた後、ＰＴＳ間の差で割った値に１を足した値に当該場面の位置を計算し（Ｓ１６７０）、同一の場面を含むＭｅｄｉａ  Ｓｅｇｍｅｎｔを要求してダウンロードしてからデコードし（Ｓ１６５０、Ｓ１６５５）、ＴＳとＤＡＳＨメディアを同時に再生させることで、同期化を取る（Ｓ１６６５）。例えば、現在のＰＴＳが１８００であり、Ｉｎｉｔ＿ＰＴＳが１０００、ＰＴＳ間の間隔が１００である場合を通じて、９番目のフレームを含む
Ｍｅｄｉａ  Ｓｅｇｍｅｎｔを要求するようになる。
【０１０８】
なお、前記第２コンテンツを受信するステップは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）及び初期化セグメント（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）を受信するステップ（図示せず）、前記第１コンテンツのＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ値とＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ開始値との差に基づいて、前記第１コンテンツの時間情報を計算し、前記第１コンテンツの時間情報に対応する第２コンテンツのセグメントを受信するステップ（図示せず）を含んでよい。
【０１０９】
図１７は、本発明の放送網と通信網メディア内のＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅを用いて同期化する方策を示す図である。
【０１１０】
本来、ＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅ（ＳＭＰＴＥ  １２Ｍ）は、ＳＭＰＴＥでそれぞれのＶｉｄｅｏまたはｆｉｌｍのＦｒａｍｅ単位ラべリング（Ｌａｂｅｌｉｎｇ）のために制定した標準として、Ｔｉｍｅｃｏｄｅはｆｉｌｍ、ｖｉｄｅｏ、ａｕｄｉｏ等に挿入されてよく、編集または同期化のためのリファレンスの役割を担う。コンテンツレベルに管理される前記ＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅを符号化器に伝達する場合、コンテンツ別の圧縮方式によってそれぞれの符号化ステップでストリーム上に記録されてよく、結果的に放送網で提供されるコンテンツ及び通信網で提供されるコンテンツは、フレーム単位の同一のＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅを伝送ストリーム上に含んでよい。図１７も、ＰＭＴに追加されたＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを確認する（Ｓ１７２０）。Ｍｕｌｔｉｖｉｅｗ＿Ｆｌａｇが０である場合（Ｓ１７４０〜）と、ＭＰＤとＩｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔをダウンロード及び分析する過程（Ｓ１７２５〜Ｓ１７３５）を経る。このとき、伝達されるＭＰＤまたはＩｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔは、メディアの開始ＳＭＰＴＥ  Ｔｉｍｅｃｏｄｅを示すＩｎｉｔ＿Ｔｉｍｅｃｏｄｅを含んでよく、視聴者がマルチビューを要求した時点から放送網を通じて提供されるコンテンツのＴｉｍｅｃｏｄｅを通じて現在のＴｉｍｅｃｏｄｅからＩｎｉｔ＿Ｔｉｍｅｃｏｄｅを引いた後、１を足した値に当該場面の位置を計算して同一の場面を含むＭｅｄｉａ  Ｓｅｇｍｅｎｔを要求してダウンロードした後（Ｓ１７５０）、放送網を通じて提供されるＴＳと通信網を通じて提供されたＤＡＳＨメディアを同時に再生させることで、同期化を取る（Ｓ１７５５、Ｓ１７７０）。このとき、放送網コンテンツと通信網コンテンツとの間に正確な同期化のために、Ｔｉｍｅｃｏｄｅが一致する際、同時に再生させる方式を使用することもできる。
【０１１１】
場合によって、ＭＰＤを要求するステップ（Ｓ１７２５）で放送網を通じて提供されるコンテンツのＴｉｍｅｃｏｄｅをＭＰＤ要求メッセージとともにサーバ端に伝送し、当該Ｔｉｍｅｃｏｄｅが該当するＦｒａｍｅ＿ｎｕｍをＭＰＤファイルとともに受信端でダウンロードまたはパーシングする（Ｓ１７３０）。受信機では、Ｆｒａｍｅ＿ｎｕｍを確認し、当該場面が含まれたメディアセグメントを要求し、ダウンロードした後、ＴＳとＤＡＳＨメディアを同時に再生させることで同期化を取る。
【０１１２】
一方、前記第２コンテンツのセグメントを受信するステップは、通信網の遅延を考慮し、前記第１コンテンツの現在のフレームより予め設定された数のフレーム後に位置するフレームに対応する第２コンテンツを受信することができる。
【０１１３】
図１８は、本発明が適用されるネットワーク遅延を考慮し、未来の場面を要求するマルチビューメディアコンテンツ間の同期化方策を示す図である。
【０１１４】
図１８も、ＰＭＴに追加された図１９に示すＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒを確認する（Ｓ１８２０）。Ｍｕｌｔｉｖｉｅｗ＿Ｆｌａｇが０である場合（Ｓ１８４５〜）と、ＭＰＤとＩｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔをダウンロード及び分析する過程（Ｓ１８２５〜）を経る。そして、視聴者がマルチビューを要求したとき、現在のフレーム位置計算（Ｓ１８４０）を行い、当該場面の位置を計算して通信網の遅延を考慮し、現場面より未来の場面を含むＭｅｄｉａ  Ｓｅｇｍｅｎｔを要求してダウンロードした後（Ｓ１８５５）、ＴＳメディア場面とＤＡＳＨメディア場面とが一致するとき、同時に再生させることで同期化を取る（Ｓ１８６０、Ｓ１８７０）。
【０１１５】
図１９は、図１５のＰＭＴにＦｒａｍｅ＿ｎｕｍを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒが追加されたプログラムコードを示す図であり、図２０は、図１６のＰＭＴにＩｎｉｔ＿ＰＴＳを提供するＭｕｌｔｉｖｉｅｗ＿Ｄｅｓｃｒｉｐｔｏｒが追加されたプログラムコードを示す図である。
【０１１６】
図２１は、本発明の多様な実施形態によって、端末がサーバと放送局との間でコンテンツを受信して同期化を行う過程を時間順に示す図である。
＜イベントに基盤の放送コンテンツディスプレイ＞
以下では、イベント基盤の放送コンテンツディスプレイ方法について説明する。
【０１１７】
−速報シナリオ
図２２は、イベント基盤の放送コンテンツディスプレイ方法の一実施形態として、オンデマンド（Ｏｎ  ｄｅｍａｎｄ）方式の速報シナリオを示す図であり、図２３は、別の実施形態として、プッシュ（Ｐｕｓｈ）方式の速報シナリオを示す図である。図２４は、速報シナリオのタイムラインを示す図である。
【０１１８】
ユーザは、テレビを通じてサーバからＣＩを伝達され、端末は伝達されたＣＩを分析した後、ＣＩが含んでいるビデオとオーディオのサービスを受けて再生する。当該ＣＩを基盤として、サービスを提供する途中に緊急災害コンテンツを伝達すべき場合、サービス提供者は現在伝達しているメインビデオの代わりに災害コンテンツを伝達しようとする。このとき、サーバは、災害放送に代替された新たなＣＩを伝達したり、既存に伝達したＣＩに変更されるべき部分のみを追加場面構成情報として伝達を行う。
【０１１９】
端末は、新たに伝達されたＣＩを分析してメインコンテンツの消費を中断し、災害コンテンツを消費する。災害コンテンツの消費が終了すると、端末の以前にサービスされていたメインコンテンツを中断した地点から再び消費を行う。
【０１２０】
図２２は、端末に伝達されたＣＩを基盤として、Ｏｎ  ｄｅｍａｎｄの形態でサーバから端末にコンテンツを提供することを示しており、図２３のように、Ｐｕｓｈ基盤のサービスの場合、端末からサーバに別途の要求なしに、ＣＩ情報伝達後、当該時間にコンテンツを伝達することができる。なお、ＣＩ及びそれぞれのビデオコンテンツの伝達は、ＰｕｓｈとＯｎ  ｄｅｍａｎｄサービス形態が混合されて提供される。
【０１２１】
図２４は、速報シナリオのタイムラインを示す。別途の基準時間（Ｓｃｅｎｅ  Ｔｉｍｅ）を使用することなく、イベントのみを使用してコンテンツ消費のタイムラインを提示する。特定のＸ１時点でＡコンテンツからＢコンテンツへの転換が要求される場合、コンテンツの開始と終了とを報知するイベントを使用してコンテンツが転換され、端末は中断された時点を保存するためのイベントを発生させ、Ａコンテンツの中断地点を保存する。その後、特定のＸ２時点でＢコンテンツが終了すると、コンテンツ終了と開始とを報知するイベントを使用してコンテンツが再びＡに転換され、中断時点を使用するイベントを使用してＡコンテンツの中断された時点から継続して消費をすることができるようになる。
【０１２２】
−中継シナリオ
図２５は、イベント基盤の放送コンテンツディスプレイ方法の一実施形態として、オンデマンド（Ｏｎ  ｄｅｍａｎｄ）方式の中継シナリオを示す図であり、図２６は、別の実施形態として、プッシュ（Ｐｕｓｈ）方式の中継シナリオを示す図であり、図２７は、中継シナリオのタイムラインを示す図である。
【０１２３】
図２５を参照すると、ユーザはテレビを通じてサーバからＣＩを伝達される。端末は、ＣＩを分析した後、ＣＩが含んでいるビデオとオーディオのサービスを受けて再生する。
【０１２４】
ビデオＡは、野球中継１回に関するコンテンツであり、ビデオＡが消費され始めてから３分後からは試合現況に対するビデオＢのように再生される。野球中継は１回を終えるようになり、ビデオＡのサービスを終了し、広告に対するビデオＣが継続して再生される。
【０１２５】
図２５は、端末に伝達されたＣＩを基盤として、Ｏｎ  ｄｅｍａｎｄの形態でサーバから端末にコンテンツを提供することを示しており、図２６のように、Ｐｕｓｈ基盤のサービスの場合、端末からサーバに別途の要求なしに、ＣＩ情報伝達後、当該時間にコンテンツを伝達することができる。なお、ＣＩ及びそれぞれのビデオコンテンツの伝達は、ＰｕｓｈとＯｎ  ｄｅｍａｎｄサービス形態が混合されて提供される。
【０１２６】
図２７は、スポーツ中継シナリオのタイムラインを示す。別途の基準時間（Ｓｃｅｎｅ  Ｔｉｍｅ）を使用することなく、イベントのみを使用してコンテンツ消費のタイムラインを提示する。Ａコンテンツのｍｅｄｉａ  ｔｉｍｅを基準に３分が経過した時点からＢコンテンツの再生が開示される。その後、特定のＸ１時点からＡコンテンツが終了されると、コンテンツの終了を報知するイベントを使用してＣコンテンツの消費が開始される。
【０１２７】
−マルチビューシナリオ
図２８は、イベント基盤の放送コンテンツディスプレイ方法の一実施形態として、オンデマンド（Ｏｎ  ｄｅｍａｎｄ）方式のマルチビューシナリオを示す図であり、図２９は、別の実施形態として、プッシュ（Ｐｕｓｈ）方式のマルチビューシナリオを示す図であり、図３０は、マルチビューシナリオのタイムラインを示す図である。
【０１２８】
ユーザは、テレビを通じてサーバからマルチビューに関するＣＩを伝達される。端末は、ＣＩを分析した後、ＣＩが含んでいる場面時点のビデオＡとオーディオのサービスを受けて再生する。
【０１２９】
ユーザは、視聴の途中に右側に変更された時点のビデオを要求する。端末は、ビデオＡが消費された時間を保存して消費を中断させる。そして、ビデオＡが消耗された時点に該当するビデオＢを伝達される。更に、ユーザが別の時点を要求するようになると、上記のような過程でビデオＢを中断し、中断時点からビデオＣを消費する。
【０１３０】
図２８は、端末に伝達されたＣＩを基盤として、Ｏｎ  ｄｅｍａｎｄの形態でサーバから端末にコンテンツを提供することを示しており、図２９のように、Ｐｕｓｈ基盤のサービスの場合、端末からサーバに別途の要求なしに、ＣＩ情報伝達後、当該時間にコンテンツを伝達することができる。マルチビューシナリオでは、両サービスの伝達方式は異なる。すなわち、Ｏｎ  ｄｅｍａｎｄ環境では、ユーザが要求する特定コンテンツのみを伝達するが、Ｐｕｓｈ環境ではＡ、Ｂ、Ｃコンテンツを全て伝達をしなければならず、ユーザが要求するのではなく、伝達されるコンテンツのうちの一種を選択して映す。よって、マルチビューのようなサービスは、Ｐｕｓｈ基盤の環境では、多くの帯域幅を使用しなければならないため、実際のサービスで提供されることは困難である。
【０１３１】
よって、ＣＩ及びそれぞれのビデオコンテンツの伝達は、ＰｕｓｈとＯｎ  ｄｅｍａｎｄサービス形態が混合されて提供されるが、当該シナリオにおけるＢとＣコンテンツの伝達はＯｎ  ｄｅｍａｎｄ環境に適している。
【０１３２】
図３０は、マルチビューサービスシナリオのタイムラインを示す。別途の基準時間（Ｓｃｅｎｅ  Ｔｉｍｅ）を使用することなく、イベントのみを使用してコンテンツ消費のタイムラインを提示する。特定のＸ１時点でユーザが別の時点のコンテンツを要求するようになると、Ａコンテンツが中断時点を保存するイベントが発生され、それをＢコンテンツが伝達されてＸ１時点からＢコンテンツの消費が開始される。同様に、ユーザが更に別の時点のコンテンツを要求するようになると、Ｂコンテンツの中断時点を保存するイベントが発生され、それをＣコンテンツが伝達されてＸ２時点からＣコンテンツの消費が開示される。
【０１３３】
−要求事項（Ｒｅｑｕｉｒｅｍｅｎｔ）
上述のシナリオを提供するためには、以下のような機能が必要である。
【０１３４】
Ａ．ＣＩは初期場面構成情報とサービスの途中に追加されたり変更される要素を伝達するための追加場面構成情報からなる。
【０１３５】
Ｂ．Ａｓｓｅｔ（コンテンツ）個別のＡＶの同期化（自主的なタイムスタンプ）及び時間ライン（１００分のＡｓｓｅｔ（コンテンツ））はコンテンツ別に独立している（現在のＤＴＳ及びＰＴＳ等で標準化が進行中）。
【０１３６】
Ｃ．ＣＩ（ＰＡＣＫＡＧＥ基盤）を構成するコンテンツの時間的な相関関係を記述するために、以下のようなイベントを定義する。
【０１３７】
１）ＣＩのイベントには、各Ａｓｓｅｔ消費の開始を報知するイベントが定義されなければならない（３種の全てのシナリオで要求される）。
【０１３８】
２）ＣＩは、イベントには、各Ａｓｓｅｔ消費の終了を報知するイベントが定義されなければならない（速報とスポーツ中継シナリオで要求される）。
【０１３９】
３）ＣＩは、イベントには各Ａｓｓｅｔ消費時間（中断点）を端末に保存させ、それを別のＡｓｓｅｔの消費のために伝達されなければならない（速報とマルチビューシナリオで要求される）。
【０１４０】
４）イベントは、ユーザのアクション／コンテンツ間のｄｅｐｅｎｄｅｎｃｙアクション及びｗｏｒｌｄ  ｔｉｍｅを通じて行われる（３種の全てのシナリオで要求される）。
【０１４１】
Ｄ．ＣＩは、個別のＡｓｓｅｔ（コンテンツ）間のプレイ順を知っている。
【０１４２】
上述の要求事項を満たすために、以下の技術的な構成を考慮することができる。図３１は、マルチビューシナリオの一実施形態で個別メディアタイムを示す図である。
【０１４３】
Ａ．［要求事項Ａ］を満たすためには、初期場面構成情報とサービスの途中に追加場面構成情報を別に伝達されなければならなず、初期場面構成情報として生成されたＤＯＭは、追加場面構成情報を伝達されるようになると、ＤＯＭの一部分がアップデートされる（本明細書で既に上述している）。
【０１４４】
Ｂ．前記［要求事項Ｂ］を満たすために、Ｓｃｅｎｅ  Ｔｉｍｅのような１つのＰａｃｋａｇｅに対する全体的なタイムラインは存在しているが、その代わりにそれぞれのａｓｓｅｔは、ｍｅｄｉａ  ｔｉｍｅ（ｔｉｍｅ  ｓｔａｍｐ）を使用してＡＶを同期化したり、個別的に独立したタイムラインを有している。すなわち、図３１のように、１つのＰａｃｋａｇｅを構成する様々な時点のビデオは、各自がｍｅｄｉａ  ｔｉｍｅを有しており、それは独立的に再生されてよく、別の時点のビデオと連動して再生されてよい。
【０１４５】
Ｃ．前記［要求事項Ｃ］を満たすために、ＣＩはＭＭＴ  Ｐａｃｋａｇｅが含んでいるＡｓｓｅｔの時間的な情報を記述し、それは既存の場面構成技術のＳｃｅｎｅ  Ｔｉｍｅを基準とするのではなく、イベントを基盤として時間的な相関関係を記述している。なお、ＣＩは、ＭＭＴ  Ｐａｃｋａｇｅが含んでいるＡｓｓｅｔの空間的な情報を記述し、それはＳＭＩＬまたはＬＡＳｅＲの記述を参照する。
【０１４６】
Ｄ．ＰａｃｋａｇｅのＣＩは、Ｓｃｅｎｅ  Ｔｉｍｅがなくても、個別のＡｓｓｅｔのｍｅｄｉａ  ｔｉｍｅとｓｓｅｔの関係を通じて、Ｐａｃｋａｇｅの再生順及びスケジューリングを行うことができる。
【０１４７】
−Ｄｅｆｉｎｉｔｉｏｎ  ＆  ｔｙｐｅ
以下のイベントは、ＣＩに記述される要素と各要素の属性値として活用される。
【０１４８】
Ａ．ｅｖ：ｓｔａｒｔ−独立されたａｓｓｅｔの消費が開始されることを示す。当該ＩＤのコンテンツが消費される際に発生する（ｒｅｑｕｉｒｅｍｅｎｔ  Ｃ．１）。
【０１４９】
−ｔｙｐｅ：ＩＤ−開始されるａｓｓｅｔのＩＤを示す。
【０１５０】
Ｂ．ｅｖ：ｅｎｄ−独立されたａｓｓｅｔの消費が終了されることを示す。当該ＩＤのコンテンツが終了される際に発生する（ｒｅｑｕｉｒｅｍｅｎｔ  Ｃ．２）。
【０１５１】
−ｔｙｐｅ：ＩＤ−終了されるａｓｓｅｔのＩＤを示す。
【０１５２】
Ｃ．ｅｖ：ｐｕｓｈｔｉｍｅ−独立されたａｓｓｅｔの消費された時間値を保存する（ｒｅｑｕｉｒｅｍｅｎｔ  Ｃ．３）。
【０１５３】
ｔｙｐｅ：ＩＤ−保存される時間値に対するａｓｓｅｔのＩＤを示す。
【０１５４】
Ｄ．ｅｖ：ｐｏｐｔｉｍｅ−独立されたａｓｓｅｔの保存された時間値を取得する（ｒｅｑｕｉｒｅｍｅｎｔ  Ｃ．３）。
【０１５５】
ｔｙｐｅ：ＩＤ−保存された時間値に対するａｓｓｅｔのＩＤを示す。
＜コンテンツディスプレイ方法＞
上述の実施形態は、以下の方法で記述されてよい。
【０１５６】
図３２及び図３３は、本発明の多様な実施形態に係る放送コンテンツディスプレイ方法を示すフローチャートである。
【０１５７】
図３２を参照すると、まず、第１サーバがマークアップ言語で作成された第１コンテンツの場面構成情報を伝送する（Ｓ３２１０）。そして、前記伝送された第１コンテンツの場面構成情報に基づいて、前記第１サーバから第１コンテンツを伝送してレンダリングする（Ｓ３２２０）。もし、第１コンテンツの場面構成情報が変更される場合、上述の実施形態に係る場面構成情報アップデートが行われる。そして、第２コンテンツ視聴イベントが発生する（Ｓ３２３０−Ｙ）、第２サーバ  が第２コンテンツを伝送してレンダリングする（Ｓ３２３０）。
【０１５８】
図３３を参照すると、第１サーバがマークアップ言語で作成された第１コンテンツの場面構成情報を伝送する（Ｓ３３１０）。そして、前記伝送された第１コンテンツの場面構成情報に基づいて、前記第１サーバから第１コンテンツを伝送してレンダリングする（Ｓ３３２０）。そして、第２コンテンツ視聴イベントが発生すると（Ｓ３３３０−Ｙ）、前記第１コンテンツのレンダリングを中断し、第２サーバが第２コンテンツを伝送してレンダリングする（Ｓ３３４０）。この場合、前記第２コンテンツのレンダリングが終わるイベントが発生すると（Ｓ３３５０−Ｙ）、前記第１コンテンツのレンダリングが中断された時点から継続して前記第１コンテンツをレンダリングする（Ｓ３３６０）。
【０１５９】
一方、上述の実施形態で説明しているように、前記第２コンテンツ視聴イベントが発生すると、すなわち、互いに異なる外部装置から相互関連する複数のコンテンツを受信するようになる場合、前記第２サーバは、前記第２コンテンツを前記第１コンテンツと同期化して伝送してレンダリングすることができる。
＜例題を説明するための要素＞
図３４は、速報シナリオのイベント発生時に受信される追加場面構成情報を示す例を示す図であり、図３５は、中継シナリオのイベント処理に関する情報を含む場面構成情報を示す例を示す図であり、図３６は、マルチビューシナリオのイベント処理に関する情報を含む場面構成情報を示す例を示す図である。
【０１６０】
Ｌｉｎｋ：ａｓｓｅｔのＩＤを指す（ＭＭＴ：Ｅ１−ＣＩ）。
【０１６１】
Ｂｅｇｉｎ：当該要素を開始する時間的情報を記述する（ＳＭＩＬ）。
【０１６２】
Ｅｎｄ：当該要素を終了する時間的情報を記述する（ＳＭＩＬ）。
【０１６３】
ｅｖ：ｌｉｓｔｅｎｅｒ：イベントの発生条件（ＬＡＳｅＲ）
＜記録媒体＞
上述のコンテンツディスプレイ方法、コンテンツ同期化方法、放送コンテンツディスプレイ方法は、コンピュータで実行可能なアルゴリズムを含むプログラムで実現され、前記プログラムは、非一時的な読み取り可能な媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）に保存されて提供されてよい。
【０１６４】
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
＜ディスプレイ装置＞
以下では、上述の方法によってコンテンツを受信してディスプレイするディスプレイ装置１００を説明する。
【０１６５】
図３７は、本発明の多様な実施形態に係るディスプレイ装置の構成を示すブロック図である。
【０１６６】
図３７を参照すると、本発明の多様な実施形態に係るディスプレイ装置１００は、受信部１１０と、出力部１３０と、制御部１２０とを含む。
【０１６７】
受信部１１０は、外部装置からマークアップ言語で作成されたコンテンツに関する初期場面構成情報及び前記コンテンツを受信する構成である。受信部１１０は、多様な通信手段を備えて外部装置と接続されて情報を受信する。前記マークアップ言語は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  ＭａｒｋＵｐ  Ｌａｎｇｕａｇｅ）であってよい。
【０１６８】
受信部１１０は、放送通信モジュールを含んでよく、制御部１２０の制御に応じて、放送通信アンテナ（図示せず）を介して放送局から送出される放送信号（例えば、テレビ放送信号、ラジオ放送信号またはデータ放送信号）及び放送付加情報（例えば、ＥＰＳ（Ｅｌｅｃｔｒｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）またはＥＳＧ（Ｅｌｅｃｔｒｉｃ  Ｓｅｒｖｉｃｅ  Ｇｕｉｄｅ））を受信することができる。ディスプレイ装置１００は、受信された放送信号に含まれたコンテンツデータを抽出して上述の信号処理を行う。
【０１６９】
出力部１３０は、前記受信されたコンテンツを出力する。出力部は、スピーカを含むオーディオ出力部とディスプレイ部とを含む。ディスプレイ部１３０は、制御部１２０の制御によってマルチメディアコンテンツ、イメージ、動画、テキスト等を表示する。
【０１７０】
出力部１３０は、液晶ディスプレイパネル（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ：ＬＣＤ  Ｐａｎｅｌ）、プラズマディスプレイパネル（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ：ＰＤＰ）、ＶＦＤ（Ｖａｃｕｕｍ  Ｆｌｕｏｒｅｓｃｅｎｔ  Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ  Ｅｍｉｓｓｉｏｎ  Ｄｉｓｐｌａｙ）、ＥＬＤ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等、多様なディスプレイ技術で実現できる。なお、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、透明ディスプレイ（ｔｒａｎｓｐａｒｅｎｔ  ｄｉｓｐｌａｙ）等で実現可能である。
【０１７１】
制御部１２０は、ディスプレイ装置１００の動作全体を制御する。特に、前記初期場面構成情報を分析して構造化し、前記構造化された初期場面構成情報に応じて前記コンテンツをレンダリングして出力するように制御する。前記構造化過程は、前記初期場面構成情報をパーシング（ｐａｒｓｉｎｇ）してＤＯＭツリー（ＤＯＭ  ｔｒｅｅ）を構成することができる。
【０１７２】
なお、前記制御部１２０は、前記受信部１１０が前記外部装置から前記コンテンツに関する追加場面構成情報を受信すると、前記受信された追加場面構成情報に基づいて、前記構造化された初期場面構成情報をアップデートし、前記アップデートされた初期場面構成情報に応じて前記コンテンツをレンダリングして出力するように制御する。
【０１７３】
このとき、前記アップデート過程は、前記受信された追加場面構成情報に対応する追加的な構成を前記構造化された初期場面構成情報に付加したり、前記受信された追加場面構成情報に対応する代替的な構成を前記構造化された初期場面構成情報の中の一部構成に代替したり、前記受信された追加場面構成情報に応じて、前記構造化された初期場面構成情報の中の一部構成を削除して行うことができる。
【０１７４】
具体的に、前記アップデート過程は、前記受信された追加場面構成情報に対応するツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーに追加したり、前記受信された追加場面構成情報に対応する代替的なツリーノード（Ｎｏｄｅ）を前記構成されたＤＯＭツリーの中の一部ノードに代替したり、前記受信された追加場面構成情報に応じて、前記構成されたＤＯＭツリーの中の一部ノードを削除して行うことができる。
【０１７５】
なお、ディスプレイ装置は、場面構成情報アップデートを通じたコンテンツディスプレイ以外にも、ハイブリッドサービス環境でコンテンツ同期化方法によって同期化されたコンテンツをディスプレイしたり、イベント基盤の放送コンテンツをディスプレイする機能を行うことができる。
【０１７６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図１】
2014534695.tif 000003
【図２】
2014534695.tif 000004
【図３】
2014534695.tif 000005
【図４】
2014534695.tif 000006
【図５】
2014534695.tif 000007
【図６】
2014534695.tif 000008
【図７】
2014534695.tif 000009
【図８】
2014534695.tif 000010
【図９】
2014534695.tif 000011
【図１０】
2014534695.tif 000012
【図１１】
2014534695.tif 000013
【図１２】
2014534695.tif 000014
【図１３】
2014534695.tif 000015
【図１４】
2014534695.tif 000016
【図１５】
2014534695.tif 000017
【図１６】
2014534695.tif 000018
【図１７】
2014534695.tif 000019
【図１８】
2014534695.tif 000020
【図１９】
2014534695.tif 000021
【図２０】
2014534695.tif 000022
【図２１】
2014534695.tif 000023
【図２２】
2014534695.tif 000024
【図２３】
2014534695.tif 000025
【図２４】
2014534695.tif 000026
【図２５】
2014534695.tif 000027
【図２６】
2014534695.tif 000028
【図２７】
2014534695.tif 000029
【図２８】
2014534695.tif 000030
【図２９】
2014534695.tif 000031
【図３０】
2014534695.tif 000032
【図３１】
2014534695.tif 000033
【図３２】
2014534695.tif 000034
【図３３】
2014534695.tif 000035
【図３４】
2014534695.tif 000036
【図３５】
2014534695.tif 000037
【図３６】
2014534695.tif 000038
【図３７】
2014534695.tif 000039
【国際調査報告】
2014534695.tif 000040
2014534695.tif 000041
2014534695.tif 000042
2014534695.tif 000043