(57)【特許請求の範囲】
【請求項１】
第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）ストリーミングデータの再生処理を支援する第１画面制御モジュールと、
第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータの再生処理を支援する第２画面制御モジュールと、
マルチビューストリーミング再生要請時、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に挿入された再生タイム情報を確認した後、前記第１ストリーミングデータと前記第２ストリーミングデータとのそれぞれの受信された時点を確認し、もし、同じ再生タイム情報を有する、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットが異なる受信された時点を有していたときには、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットが、受信された時点のより遅いほうに対応する時点に、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように、前記第１画面制御モジュール及び前記第２画面制御モジュールを制御する再生制御モジュールと、
を含むことを特徴とするマルチビューストリーミングサービスを提供する装置。
【請求項２】
前記再生制御モジュールは、
前記第２画面に対するサイズ調節イベントが発生すると、マルチビューサービスサーバーから前記サイズ調節イベントによって変更された前記第２ストリーミングデータを受信することを特徴とする請求項１に記載のマルチビューストリーミングサービスを支援する装置。
【請求項３】
前記再生制御モジュールは、
前記第１画面制御モジュール及び前記第２画面制御モジュール間のスイッチングイベントが発生すると、マルチビューサービスサーバーから前記スイッチングイベントによって解像度が変更された前記第１ストリーミングデータと前記第２ストリーミングデータを受信することを特徴とする請求項１に記載のマルチビューストリーミングサービスを提供する装置。
【請求項４】
端末がマルチビューサービスサーバーに第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、
前記端末が、前記マルチビューサービスサーバーから前記第１ストリーミングデータと前記第２ストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、
前記端末が、前記各ストリーミングデータの各メディアプロセッシングユニットの受信された時点を確認する段階と、
前記端末が前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットが、受信された時点のより遅いほうに対応する時点に再生されるように、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットを同期化するように制御する段階と、
を含むことを特徴とするマルチビューストリーミングサービス提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリーミングデータ提供技術に関し、より詳細には、少なくとも二つ以上の画面を含むマルチビューストリーミングサービス提供方法及び装置に関する。
【背景技術】
【０００２】
この部分に記述された内容は、単純に、本発明に対する背景情報を提供するだけで、従来技術を構成するものではない。
【０００３】
最近のインターネット環境において多様な動画サービスが登場するに伴い、高画質ライブ放送に対する需要が次第に増加している。また、最近、ライブストリーミング（ｌｉｖｅ  ｓｔｒｅａｍｉｎｇ）方式に従って多様な動画サービスを提供しようとする試みが行われている。
【０００４】
ストリーミングサービスは、インターネットのようなネットワークを介してサーバーから端末にビデオ又はオーディオのようなコンテンツを伝送することを意味する。伝送されるデータがまるで水が流れることのように処理されると言って、ストリーミングと言う。サーバーは、ビデオをネットワークに伝送できるようにパケットに分離し、端末は、該パケットをさらに集めて元々の形態で復元した後、再生する。この際、再生とパケット受信は、同時に起こり、関連されたた一連のパケットをストリーム（ｓｔｒｅａｍ）と言い、一連のパケットの集合をストリーミングデータと言う。
【０００５】
最近のストリーミングサービスは、マルチビュー機能を支援できる。マルチビューサービスは、ＰＩＰ（Ｐｉｃｔｕｒｅ  Ｉｎ  Ｐｉｃｔｕｒｅ）サービスの一つであって、主画面が表示されている状態で、副画面が表示されるように処理されることを意味する。しかし、リアルタイムでストリーミングデータを伝達されて再生するストリーミングサービスは、主画面及び副画面の各々に独立的にストリーミングデータを提供することによって、主画面と副画面間の再生時間の差異が発生するという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前述した従来の問題点を解決するために提案されたものであって、特に、ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）技術を利用してマルチビューストリーミングサービスを提供できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
【０００７】
特に、本発明は、マルチビューストリーミングサービスの再生時に、第１画面と第２画面のストリーミングデータを同期化させて再生することによって、第１画面と第２画面との間に発生する時間差を低減できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
【０００８】
また、本発明は、マルチビューストリーミングサービスの提供時に、第１画面と第２画面間のスイッチングイベント又は特定画面のサイズ調節イベント等、発生する多様なイベント情報によって適合なストリーミングデータをリアルタイムで構成し、端末に伝送できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
【０００９】
しかし、このような本発明の目的は、前記の目的に制限されず、言及されない他の目的は、下記の記載から明確に理解され得る。
【課題を解決するための手段】
【００１０】
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス提供装置は、第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）ストリーミングデータの再生処理を支援する第１画面制御モジュールと、第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータの再生処理を支援する第２画面制御モジュールと、マルチビューストリーミング再生要請時に、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に挿入された再生タイム情報を確認した後、前記再生タイム情報によって前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように、前記第１画面制御モジュール及び前記第２画面制御モジュールを制御する再生制御モジュールと、を含んで構成され得る。
【００１１】
この際、前記再生制御モジュールは、現在タイム情報を確認し、前記確認された現在タイム情報と前記第１、第２ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報との間の差異が発生する場合、前記第１、第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように、前記差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御できる。
【００１２】
また、前記再生制御モジュールは、前記第２画面に対するサイズ調節イベントが発生すると、前記マルチビューサービスサーバーから前記サイズ調節イベントによって変更された前記第２ストリーミングデータを受信できる。
【００１３】
また、前記再生制御モジュールは、前記第１画面制御モジュール及び前記第２画面制御モジュール間のスイッチングイベントが発生すると、前記マルチビューサービスサーバーから前記スイッチングイベントによって解像度が変更された前記第１ストリーミングデータと前記第２ストリーミングデータを受信できる。
【００１４】
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス提供方法は、端末がマルチビューサービスサーバーに第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、前記端末が前記マルチビューサービスサーバーから前記第１ストリーミングデータと第２ストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、前記端末が前記確認された再生タイム情報によって前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように制御する段階と、を含んでなることができる。
【００１５】
この際、前記再生されるように制御する段階は、前記端末が前記第１ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、前記端末が前記第２ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、前記端末が現在タイム情報を確認し、前記確認された現在タイム情報と前記第１、第２ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報との間の差異が発生する場合、前記第１、第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように、前記差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御する段階と、を含んでなることができる。
【００１６】
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス提供方法は、マルチビューサービスサーバーが、端末から第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータの要請を受信する段階と、前記マルチビューサービスサーバーが、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）ごとに再生タイム情報を挿入して前記端末に伝送する段階と、を含んでなることができる。
【００１７】
この際、前記端末に伝送する段階は、前記マルチビューサービスサーバーが前記端末の状況情報によって前記メディアプロセッシングユニットのブロックサイズを可変的に調節し、前記可変的に調節された各メディアプロセッシングユニットごとに再生タイム情報を挿入し、前記端末に伝送できる。
【００１８】
さらに、本発明は、前述したようなマルチビューストリーミングサービス提供方法を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体を提供できる。
【発明の効果】
【００１９】
本発明のマルチビューストリーミングサービス支援方法及びこれを支援する装置によれば、ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）技術を利用してマルチビューストリーミングサービスをより効率的に端末に提供できる。
【００２０】
また、本発明によれば、マルチビューストリーミングサービスの再生時に、第１画面と第２画面のストリーミングデータを同期化させて再生することによって、第１画面と第２画面との間に発生する時間差を顕著に低減でき、ユーザの便宜性が向上することができる。
【００２１】
また、本発明によれば、第１画面と第２画面間のスイッチングイベント又は第２画面のサイズ調節イベント等発生する多様なイベント情報によって適合なストリーミングデータをリアルタイムで受信して再生し得、また、多様なイベント情報が発生しても、主画面と第２画面間の時間差なしにマルチビューストリーミングサービスを利用でき、ユーザの便宜性が極大化され得る。
【００２２】
また、前述した効果以外の多様な効果が、後述する本発明の実施形態による詳細な説明において直接的又は暗示的に開示され得る。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明に適用されるＭＭＴ技術を説明するための例示図である。
【図２】ず２は、本発明に適用されるＭＭＴ技術を説明するための例示図である。
【図３】図３は、本発明の実施形態によるマルチビューストリーミングサービス提供のためのシステムの構成を概略的に示す構成図である。
【図４】図４は、本発明の実施形態による端末の主要構成を示すブロック図である。
【図５】図５は、本発明の実施形態によるマルチビューストリーミングサービス提供方法を説明するための端末画面例示図である。
【図６】図６は、本発明の実施形態によるマルチビューサービスサーバーの主要構成を示すブロック図である。
【図７】図７は、本発明の実施形態によるＭＭＴストリーミングデータを説明するための例示図である。
【図８】図８は、本発明の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
【図９】図９は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
【図１０】図１０は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
【発明を実施するための形態】
【００２４】
本発明の課題解決手段の特徴及び利点を一層明確にするために、添付の図面に示された本発明の特定の実施形態を参照して本発明を詳細に説明する。
【００２５】
但し、下記の説明及び添付の図面において本発明の要旨を不明にすることができる公知機能または構成に対する詳細な説明を省略する。また、図面全体にわたって同じ構成要素は、できるだけ、同じ参照符号で示していることに留意しなければならない。
【００２６】
以下の説明及び図面で使用された用語や単語は、通常的や辞書的な意味に限定すべきものではなく、発明者は、自分の発明を最善の方法で説明するための用語の概念で適切に定義できるという原則に即して本発明の技術的思想に符合する意味と概念に解釈すべきである。したがって、本明細書に記載した実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
【００２７】
なお、第１、第２等のように序数を含む用語は、多様な構成要素を説明するために使用するものであって、１つの構成要素を他の構成要素から区別する目的だけで使用され、前記構成要素を限定するために使用するものではない。例えば、本発明の権利範囲を逸脱することなく、第２構成要素は、第１構成要素と命名され得、同様に、第１構成要素は、第２構成要素と命名され得る。
【００２８】
また、任意の構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及する場合、これは、論理的または物理的に連結されるか、接続され得ることを意味する。言い換えれば、構成要素が他の構成要素に直接的に連結されるか、接続され得るが、中間に他の構成要素が存在してもよく、間接的に連結されるか、接続されてもよいと理解しなければならない。
【００２９】
また、本明細書で使用した用語は、ただ特定の実施形態を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。また、本明細書で記述される「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたもの等の存在又は付加可能性をあらかじめ排除しないものと理解されなければならない。
【００３０】
なお、本発明の範囲内の実施形態は、コンピュータ実行可能なコマンド又はコンピュータ読み取り可能媒体に格納されたデータ構造を有するか、伝達するコンピュータ読み取り可能な媒体を含む。このようなコンピュータ読み取り可能な媒体は、汎用又は特殊目的のコンピュータシステムによりアクセス可能な任意の利用可能な媒体であることができる。例として、このようなコンピュータ読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＣＤ−ＲＯＭ又はその他光ディスク格納装置、磁気ディスク格納装置又はその他磁気格納装置、又はコンピュータ実行可能なコマンド、コンピュータ読み取り可能なコマンド又はデータ構造の形態よりなる所定のプログラムコード手段を格納するか又は伝達するのに利用され得、汎用又は特殊目的コンピュータシステムによりアクセスされ得る任意のその他媒体のような物理的格納媒体を含むことができるが、これに限定されない。
【００３１】
以下の説明及び特許請求範囲で、「ネットワーク」又は「通信網」は、コンピュータシステム及び／又はモジュール間の電子データを伝送できるようにする一つ以上のデータリンクとして定義される。情報がネットワーク又は他の（有線、無線、又は有線又は無線の組合である）通信接続を介してコンピュータシステムに伝送されるか、又は提供されるとき、この接続は、コンピュータ読み取り可能な媒体として理解され得る。コンピュータ読み取り可能なコマンドは、例えば、汎用コンピュータシステム又は特殊目的コンピュータシステムが特定の機能又は機能のグループを行うようにするコマンド及びデータを含む。コンピュータ実行可能なコマンドは、例えば、アセンブリー語、又は、甚だしくは、ソースコードのような二進、中間フォーマットコマンドであることができる。
【００３２】
また、本発明は、パーソナルコンピュータ、ラップトップコンピュータ、ハンドヘルド装置、マルチプロセッサーシステム、マイクロプロセッサー基盤又はプログラム可能な家電製品（ｐｒｏｇｒａｍｍａｂｌｅ  ｃｏｎｓｕｍｅｒ  ｅｌｅｃｔｒｏｎｉｃｓ）、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、モバイル電話、ＰＤＡ、ページャー（ｐａｇｅｒ）等を含む多様な類型のコンピュータシステム構成を有するネットワークコンピュータ環境で実施され得る。
【００３３】
本発明は、また、ネットワークを介して有線データリンク、無線データリンク、又は有線及び無線データリンクの組合でリンクされたローカル及び遠隔コンピュータシステムのすべてがタスクを行う分散型システム環境で実行され得る。分散型システム環境で、プログラムモジュールは、ローカル及び遠隔メモリ格納装置に位置し得る。
【００３４】
以下、本発明は、ＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）技術が適用されることを仮定して説明する。しかし、これは、説明の便宜のための例示に過ぎず、本発明が必ずＭＭＴ技術にのみ適用されるものではない。
【００３５】
本明細書で使用された用語の意味は、次のように定義できる。
【００３６】
コンテンツコンポネント（ｃｏｎｔｅｎｔ  ｃｏｍｐｏｎｅｎｔ）又はメディアコンポネント（ｍｅｄｉａ  ｃｏｍｐｏｎｅｎｔ）は、単一種類のメディア（ｍｅｄｉａ  ｏｆ  ａ  ｓｉｎｇｌｅ  ｔｙｐｅ）又は単一種類のメディアの部分集合（ｓｕｂｓｅｔ  ｏｆ  ｔｈｅ  ｍｅｄｉａ  ｏｆ  ａ  ｓｉｎｇｌｅ  ｔｙｐｅ）として定義され、例えば、ビデオトラック（ｖｉｄｅｏ  ｔｒａｃｋ）、映画字幕（ｍｏｖｉｅ  ｓｕｂｔｉｔｌｅｓ）、又はビデオ向上階層（ｅｎｈａｎｃｅｍｅｎｔ  ｌａｙｅｒ  ｏｆ  ｖｉｄｅｏ）になり得る。
【００３７】
コンテンツ（ｃｏｎｔｅｎｔ）は、コンテンツコンポネントの集合と定義し、例えば映画（ｍｏｖｉｅ）、歌（ｓｏｎｇ）等になり得る。
【００３８】
ハイブリッド伝送（ｈｙｂｒｉｄ  ｄｅｌｉｖｅｒｙ）は、二つ以上のコンテンツコンポネントが二つ以上の物理的に互いに異なる形態の網（ｎｅｔｗｏｒｋ）を介して同時に伝送されるものと定義する。
【００３９】
表現（ｐｒｅｓｅｎｔａｔｉｏｎ）は、ユーザが一つのコンテンツコンポネント又は一つのサービスを経験（例えば映画感想）できるように、一つ又は一つ以上の装置により行われる動作（ｏｐｅｒａｔｉｏｎ）と定義する。
【００４０】
サービス（ｓｅｒｖｉｃｅ）は、表現（ｐｒｅｓｅｎｔａｔｉｏｎ）又は格納（ｓｔｏｒａｇｅ）のために伝送される一つ又は一つ以上のコンテンツコンポネントと定義する。
【００４１】
サービス情報（ｓｅｒｖｉｃｅ  ｉｎｆｏｒｍａｔｉｏｎ）は、一つのサービス、前記サービスの特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）及びコンポネントを記述するメタデータと定義する。
【００４２】
ナンタイムドデータ（Ｎｏｎ−ｔｉｍｅｄ  ｄａｔａ）は、時間を明示せず消費されるすべてのデータ要素を定義する。ナンタイムドデータは、そのメディアユニットのデコーディング及び／又は表現のための固有な同期化情報を有しないデータである。
【００４３】
タイムドデータ（ｔｉｍｅｄ  ｄａｔａ）は、そのメディアユニットのデコーディング及び／又は表現のための固有な同期化情報を有するデータであって、デコーディング及びプレゼンテーションされる特定の時間と関連されたデータ要素を定義する。
【００４４】
メディアフラグメントユニット（Ｍｅｄｉａ  Ｆｒａｇｍｅｎｔ  Ｕｎｉｔ；ＭＦＵ）は、どんな特定のコーデックにも独立された一般的なコンテナであって、メディアデコーダーにより独立的に消費され得る符号化されたメディアデータを収容する。アクセスユニット（ＡＵ）は、タイムドメディアデータのためのアクセスユニット（ＡＵ）の全部又は一部のように、メディアデコーダーにより独立的にデコード可能なメディアデータ又はノンタイムドメディアデータのための一つのファイルを含む。これは、アクセスユニット（ＡＵ）より小さいか又は同じサイズを持ってトランスポート階層（Ｔｒａｎｓｐｏｒｔ  ｌａｙｅｒ）で使用され得る情報を収容する。
【００４５】
ＭＭＴ個体（ＭＭＴ  ｅｎｔｉｔｙ）は、ＭＭＴプロファイルに従うソフトウェア又はハードウェアの具現である。
【００４６】
ＭＭＴパケット（ＭＭＴ  ｐａｃｋｅｔ）は、ＭＭＴプロトコルによって生成又は消費されるデータの形式化されたユニット（ｆｏｒｍａｔｔｅｄ  ｕｎｉｔ）である。
【００４７】
ＭＭＴペイロード（ＭＭＴ  ｐａｙｌｏａｄ）は、パッケージを輸送するか、ＭＭＴプロトコルやインターネット応用階層伝送プロトコル（例えばＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）がある）を使用してメッセージをシグナリングするデータの形式化されたユニットである。
【００４８】
ＭＭＴプロトコルは、ＭＭＴペイロードをＩＰネットワークを介して伝達するための応用階層伝送プロトコルである。
【００４９】
ＭＭＴペイロードフォーマット（ＭＭＴ  ｐａｙｌｏａｄ  ｆｏｒｍａｔ）は、ＭＭＴプロトコル又はインターネット応用階層プロトコル（例えば、ＲＴＰ）により伝達されるＭＭＴパッケージ又はＭＭＴシグナリングメッセージのペイロードのためのフォーマットである。
【００５０】
以下、本発明の実施形態を説明するに先立って、本発明に適用されるＭＭＴ技術について図１及び図２を参照してより具体的に説明する。
【００５１】
図１及び図２は、本発明に適用されるＭＭＴ技術を説明するための例示図である。
【００５２】
図１を参照すれば、ＭＭＴパッケージ５００は、ＭＭＴ機能領域で定義するデータモデルのうち論理的に構造化された最も大きいＭＭＴ個体（ｅｎｔｉｔｙ）であって、映画一編のような一つの独立的なコンテンツを意味する。ストリーミングデータサービスを提供するライブストリーミング提供サーバーは、このようなＭＭＴパッケージを生成し、端末に提供でき、ＭＭＴパッケージ５００は、図１に示されたように、多数の個体の集めで構成される論理的に構造化されたコレクションになり得る。このようなＭＭＴパッケージ５００は、一つ以上のアセット５０５、構成情報５０２、伝送特性５０３及び説明的な（ｄｅｓｃｒｉｐｔｉｖｅ）情報、すなわちパッケージ情報５０１を含むことができる。
【００５３】
このうち、構成情報（Ｃｏｍｐｏｓｉｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）５０２は、ＭＭＴアセット５０５間の関係（ｒｅｌａｔｉｏｎｓｈｉｐ）、すなわち空間的及び時間的関係に対する情報を含む。一つのコンテンツ（ｃｏｎｔｅｎｔ）が複数個のＭＭＴパッケージよりなる場合、構成情報５０２は複数のＭＭＴパッケージ間の関係（ｒｅｌａｔｉｏｎｓｈｉｐ）を示すための情報をさらに含むことができる。
【００５４】
伝送特性（ＡＤＣ；Ａｓｓｅｔ  Ｄｅｌｉｖｅｒｙ  Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）５０３は、アセット５０５の伝達のためのＱｏＳ（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）要求及び統計を示す。複数のアセット５０５は、一つの伝送特性５０３に関連できる。この際の伝送特性５０３は、アセット５０５の効果的な伝達のためにパッケージをカプセル化する個体によりＭＭＴペイロード及びＭＭＴプロトコルのパラメータを設定するのに使用され得る。また、伝送特性５０３は、ＭＭＴアセット５０５又はＭＭＴパケットの伝達条件（ｄｅｌｉｖｅｒｙ  ｃｏｎｄｉｔｉｏｎ）を決定するために必要な伝達特性情報を含むことができ、例えばトラフィック記述パラメータ（ｔｒａｆｆｉｃ  ｄｅｓｃｒｉｐｔｉｏｎ  ｐａｒａｍｅｔｅｒ）及びＱｏＳ記述子（ＱｏＳ  ｄｅｓｃｒｉｐｔｏｒ）を含むことができる。このような伝達特性情報は、通信網の環境に関係ないパラメータ形態で表現され得る。
【００５５】
アセット５０５は、タイムド又はナンタイムド性質を有するオーディオ、ビデオ又はウェブページデータのような符号化されたメディアデータをカプセル化するパッケージの要素を意味するものであって、最も大きい論理的データ単位を意味する。このようなアセット５０５は、同一の伝達特性でデータを含むデータ個体を意味する。例えば、ＭＭＴパッケージ５００は、ＭＭＴ機能領域で定義するデータモデルのうち最も大きい個体（ｅｎｔｉｔｙ）であって、一編の映画のような一つの独立的なコンテンツを意味するとしたら、アセット５０５は、オーディオデータ、ビデオデータ、スクリプトデータのようなＭＭＴパッケージ５００を構成するデータ単位を意味する。
【００５６】
このようなアセット５０５について図２を参照してさらに具体的に説明する。図２を参照すると、アセット５０５は少なくとも一つ以上のＭＰＵ５０６で構成され得る。ここで、ＭＰＵ５０６は、メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、以下、ＭＰＵという）を意味し、論理的なデータ客体である。一つのアセット５０５を構成する複数のＭＰＵ５０６は、同一のアセットＩＤを含む。
【００５７】
また、ＭＰＵ５０６は、どんな特定のメディアコーデックにも独立された、タイムド又はナンタイムドデータに対する包括的なコンテナであることができる。このようなＭＰＵ５０６は、完全で且つ独立的に処理され得る符号化されたメディアデータであって、ＭＰＵのプロセッシングは、パッケージへのエンカプセレーション（Ｅｎｃａｐｓｕｌａｔｉｏｎ）又は伝達のためのパケット化を意味できる。このような、ＭＰＵ５０６は、タイムドデータのための一つ以上のアクセスユニットを含むことができる。ここで、アクセスユニット（ＡＵ；Ａｃｃｅｓｓ  Ｕｎｉｔ）は、時間情報を有することができる最も小さいデータ個体である。また、ＭＰＵ５０６は、ナンタイムドデータのためのアクセスユニット境界がないデータの部分を含んで構成され得る。このようなＭＰＵ５０６は、完全で且つ独立的に処理され得るコードされたメディアデータユニットであって、ヘッダー５０７とコードされたデータ５０８で構成され得る。なお、本発明のＭＰＵ５０６は、メディアフラグメントユニット（ＭＦＵ；Ｍｅｄｉａ  Ｆｒａｇｍｅｎｔ  Ｕｎｉｔ）でさらに構成され得る。
【００５８】
このような本発明のＭＭＴパッケージ５００は、ＭＰＵ基盤で適用され、動作され得る。以下の説明では、ＭＭＴストリーミングデータのメディアプロセッシングユニット単位で処理が行われることを中心に説明するが、これに限定されるものではない。システム具現方式に従ってメディアフラグメントユニット単位で本発明の処理が行われることもできる。
【００５９】
以下では、まず、本発明の実施形態によるマルチビューストリーミングサービス提供のための全体システムの構造について説明する。
【００６０】
図３は、本発明の実施形態によるマルチビューストリーミングサービス提供のためのシステムの構成を概略的に示す構成図である。
【００６１】
図３を参照すれば、本発明の実施形態によるシステム１００は、多数の端末１０とマルチビューサービスサーバー２０とコンテンツ提供サーバー３０と通信網５０を含むことができる。
【００６２】
各構成要素についてより具体的に説明すれば、まず、端末１０は、ユーザの操作によって通信網５０を経てマルチビューサービスサーバー２０と情報を送受信できるユーザの装置を意味する。このような端末１０は、通信網５０を介して音声又はデータ通信を行うことができる。このために、端末１０は、情報の送受信のためのブラウザー、プログラム及びプロトコルを格納するメモリ、各種プログラムを実行して制御するためのマイクロプロセッサー等を具備できる。特に、本発明の実施形態による端末１０は、マルチビューサービスサーバー２０から伝達されるＭＰＥＧメディアトランスポートストリーミングデータ（以下、「ＭＭＴストリーミングデータ」という）を再生し処理し得、特に、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータをＰＩＰ形式で表示される過程を支援できる。
【００６３】
このような本発明の実施形態による端末１０は、多様な形態で具現され得る。例えば、端末１０は、スマートフォン（ｓｍａｒｔ  ｐｈｏｎｅ）、タブレットＰＣ（Ｔａｂｌｅｔ  ＰＣ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、ＭＰ３Ｐｌａｙｅｒ等の移動端末機はもちろん、スマートテレビ（Ｓｍａｒｔ  ＴＶ）、デスクトップコンピュータ等のような固定端末機が使用されることもできる。
【００６４】
このような本発明の端末１０は、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向によって携帯機器の変形が非常に多様で、すべて列挙することはできないが、前記言及されたユニットと同等な水準のユニットが本発明による端末１０に適用され得、特に、通信網５０を経てマルチビューサービスサーバー２０からＭＭＴストリーミングデータを受信し、これを処理できる装置であれば、いずれの装置も本発明の実施形態による端末１０に利用され得る。
【００６５】
マルチビューサービスサーバー２０は、本発明の実施形態によるＭＭＴストリーミングデータを端末１０の要請に従って端末１０に伝達する役目を行う。ここで、ＭＭＴストリーミングデータは、前述したように、ＭＭＴパケット形態で端末１０に伝達され得るストリーミングデータを意味する。このようなマルチビューサービスサーバー２０は、端末１０にＭＭＴストリーミングデータ形式によって例えば放送サービスを提供できる。特に、本発明の実施形態によるマルチビューサービスサーバー２０は、端末１０にＭＭＴストリーミングデータ伝送するとき、端末１０のマルチビューストリーミング再生要請に従って、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを順次に伝送できる。
【００６６】
また、マルチビューサービスサーバー２０は、コンテンツ提供サーバー３０と連動して、コンテンツ提供サーバー３０から伝達されるデータをＭＭＴストリーミングデータに変換処理し、端末１０に伝達することもできる。
【００６７】
前述したような端末１０及びマルチビューサービスサーバー２０は、通信網５０を介して多様な情報を送受信する。本発明の実施形態による通信網５０は、 ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ワイファイ（Ｗｉ−Ｆｉ）、ワイブロ（Ｗｉｂｒｏ）、ワイマックス（Ｗｉｍａｘ）、ＨＳＤＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｄｏｗｎｌｉｎｋ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）等の無線通信方式を利用することが好ましいが、これに限定されるものではなく、システム具現方式に従ってイダーネット（Ｅｔｈｅｒｎｅｔ）、ｘＤＳＬ（ＡＤＳＬ、ＶＤＳＬ）、ＨＦＣ（Ｈｙｂｒｉｄ  Ｆｉｂｅｒ  Ｃｏａｘｉａｌ  Ｃａｂｌｅ）、ＦＴＴＣ（Ｆｉｂｅｒ  ｔｏ  Ｔｈｅ  Ｃｕｒｂ）、ＦＴＴＨ（Ｆｉｂｅｒ  Ｔｏ  Ｔｈｅ  Ｈｏｍｅ）等の有線通信方式を利用することもできる。
【００６８】
このような本発明の実施形態による通信網５０は、例えば、接続網（図示せず）、コア網（図示せず）及びインターネット網（図示せず）を含んで構成され得る。
【００６９】
ここで、接続網（図示せず）は、端末１０のコア網（図示せず）への接近を支援するものであって、有無線通信方式に従って端末１０のコア網（図示せず）接近を支援できる。このような接続網（図示せず）は、複数の基地局を含む。ここで、基地局は、例えばＢＳ（Ｂａｓｅ  Ｓｔａｔｉｏｎ）、ＢＴＳ（Ｂａｓｅ  Ｔｒａｎｓｃｅｉｖｅｒ  Ｓｔａｔｉｏｎ）、ＮｏｄｅＢ、ｅＮｏｄｅＢ等のような多数の基地局を含む概念になり得、基地局とＢＳＣ（ＢａｓｅＳｔａｔｉｏｎ  Ｃｏｎｔｒｏｌｌｅｒ）、ＲＮＣ（Ｒａｄｉｏ  Ｎｅｔｗｏｒｋ  Ｃｏｎｔｒｏｌｌｅｒ）のような基地局制御機のすべてを含む概念になり得る。また、基地局は、基地局に一体に具現されていたデジタル信号処理部と無線信号処理部をそれぞれデジタルユニット（Ｄｉｇｉｔａｌ  Ｕｎｉｔ、以下、ＤＵという）と無線ユニット（Ｒａｄｉｏ  Ｕｎｉｔ、以下、ＲＵという）に区分し、多数の領域にそれぞれ多数のＲＵ（図示せず）を設置し、多数のＲＵ（図示せず）を集中化されたＤＵ（図示せず）と連結して構成することもできる。
【００７０】
接続網（図示せず）と一緒に通信網（図示せず）を構成するコア網（図示せず）は、接続網（図示せず）と外部網、例えば、インターネット網（図示せず）を連結する役目を行う。
【００７１】
このようなコア網（図示せず）は、前述したように、接続網（図示せず）間の移動性制御及びスイッチング等の移動通信サービスのための主要機能を行うネットワークシステムであって、サーキット交換（ｃｉｒｃｕｉｔ  ｓｗｉｔｃｈｉｎｇ）又はパケット交換（ｐａｃｋｅｔ  ｓｗｉｔｃｈｉｎｇ）を行い、ネットワーク内でのパケット流れを管理及び制御する。また、コア網（図示せず）は、周波数間の移動性を管理し、接続網（図示せず）及びコア網（図示せず）内のトラフィック及び他のネットワーク、例えばインターネット網（図示せず）との連動のための役目を行うこともできる。このようなコア網（図示せず）は、ＳＧＷ（Ｓｅｒｖｉｎｇ  ＧａｔｅＷａｙ）、ＰＧＷ（ＰＤＮ  ＧａｔｅＷａｙ）、ＭＳＣ（Ｍｏｂｉｌｅ  Ｓｗｉｔｃｈｉｎｇ  Ｃｅｎｔｅｒ）、ＨＬＲ（Ｈｏｍｅ  Ｌｏｃａｔｉｏｎ  Ｒｅｇｉｓｔｅｒ）、ＭＭＥ（Ｍｏｂｉｌｅ  Ｍｏｂｉｌｉｔｙ  Ｅｎｔｉｔｙ）とＨＳＳ（Ｈｏｍｅ  Ｓｕｂｓｃｒｉｂｅｒ  Ｓｅｒｖｅｒ）等をさらに含んで構成されることもできる。
【００７２】
また、インターネット網（図示せず）は、ＴＣＰ／ＩＰプロトコルによって情報が交換される通常の公開された通信網、すなわち共用網を意味するものであって、マルチビューサービスサーバー２０と連結され、マルチビューサービスサーバー２０から端末１０に伝達されるＭＭＴストリーミングデータをコア網（図示せず）及び接続網（図示せず）を経て端末１０に提供されるように支援する役目を行うことができる。
【００７３】
一方、端末１０は、接続網（図示せず）、コア網（図示せず）、及びインターネット網（図示せず）を経てマルチビューサービスサーバー２０にＭＭＴストリーミングデータ受信のための各種命令を伝送できる。しかし、これに限定されるものではなく、マルチビューサービスサーバー２０は、コア網（図示せず）内に位置でき、コア網（図示せず）を運用する事業者と同一の事業者又は互いに異なる事業者により運用されることもできる。
【００７４】
また、前述した通信方式以外にも、その他広く公知されたか、以後開発されるすべての形態の通信方式を含むことができる。
【００７５】
前述したような本発明を構成する端末１０及びマルチビューサービスサーバー２０の主要構成及びより具体的な動作方法については、後述して説明するようにし、本発明の実施形態による各装置に搭載されるプロセッサは、本発明による方法を実行するためのプログラム命令を処理できる。一具現例で、このプロセッサは、シングルスレッド（Ｓｉｎｇｌｅ−ｔｈｒｅａｄｅｄ）プロセッサであることができ、他の具現例で、このプロセッサは、マルチスレッド（Ｍｕｌｔｉｔｈｒｅａｄｅｄ）プロセッサであることができる。ひいては、このプロセッサは、メモリ或いは格納装置上に格納された命令を処理することが可能である。
【００７６】
以下、本発明の実施形態による端末１０の主要構成及び動作方法について説明する。
【００７７】
図４は、本発明の実施形態による端末の主要構成を示すブロック図である。
【００７８】
図３及び図４を参照すると、本発明の実施形態による端末１０は、通信部１１、入力部１２、制御部１３、格納部１４及び表示部１５を含んで構成され得る。
【００７９】
各構成要素についてより具体的に説明すると、まず、通信部１１は、コア網（図示せず）接続のために、隣近の接続網（図示せず）に接続される過程を支援できる。例えば通信部１１は、一定半径内に位置する基地局（図示せず）を探索し、探索された基地局（図示せず）への接続要請を行い、基地局（図示せず）と接続される過程を支援することによって、接続網（図示せず）に接続され得る。ここで、端末１０の通信部１１が接続網（図示せず）の基地局（図示せず）に接続される過程は、公知された多様な構成を採用できるので、具体的な説明は、省略する。なお、通信部１１が基地局（図示せず）と通信手続を行うとき、ユーザ情報を伝送できる。基本的に、ＩＭＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｍｏｂｉｌｅ  Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ）等のような端末識別番号等を基地局（図示せず）に伝送でき、基地局（図示せず）がコア網（図示せず）との接続手続を行う間に、端末識別番号等を利用して加入者情報を確認できる。
【００８０】
なお、本発明の実施形態による通信部１１は、通信網５０を介してマルチビューサービスサーバー２０にＭＭＴストリーミングデータ伝送を要請し、伝達されるＭＭＴストリーミングデータを制御部１３に伝達する役目を行う。
【００８１】
入力部１２は、ユーザから入力される数字及び文字情報等の多様な情報、各種機能設定及び端末１０の機能制御と関連して入力される信号を制御部１３に伝達する。特に、本発明の入力部１２は、ＭＭＴストリーミングデータ伝送要請のためのユーザ入力を支援できる。例えば、ユーザからＭＭＴストリーミングデータを再生できるアプリケーションの実行入力を支援し、アプリケーションを介して特定チャネルに対する選択命令情報の入力を支援できる。また、本発明の入力部１２は、マルチビューストリーミング再生要請に対するユーザ入力を支援できる。ここで、マルチビューストリーミング再生要請は、例えば、ＭＭＴストリーミングデータを再生できる特定のアプリケーションでＭＭＴストリーミングデータ再生中に特定メニューの選択入力、特定ボタンの選択入力によって発生され得、これにより、当該アプリケーションは、複数の画面が同時に再生され得るマルチビューストリーミング機能に転換され得る。
【００８２】
このような入力部１２は、前述したように、キーボードやキーパッドのようなキー入力手段、タッチセンサーやタッチパッドのようなタッチ入力手段、音声入力手段、ジャイロセンサー、地磁気センサー、加速度センサー、近接センサー、及びカメラのうち少なくとも一つ以上を含んでなるジェスチャー入力手段を含むこともできる。
【００８３】
そのほか、現在開発中又は以後開発され得るすべての形態の入力手段が含まれることができる。
【００８４】
制御部１３は、端末１０の全般的な制御を行うものであって、ハードウェア的にＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）／ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含む少なくとも一つ以上のプロセッサと少なくとも一つ以上のメモリローディングデータがローディングされる実行メモリ（例えば、レジスタ及び／又はＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））及び前記プロセッサとメモリに少なくとも一つ以上のデータを入出力するバス（ＢＵＳ）を含んでなることができる。また、ソフトウェア的に端末１０に定義された機能を行うために、所定の記録媒体から前記実行メモリにローディングされ、前記プロセッサにより演算処理される所定のプログラムルーチン（Ｒｏｕｔｉｎｅ）又はプログラムデータを含んでなることができる。言い換えれば、本発明の実施形態によるマルチビューサービスサーバー２０にＭＭＴストリーミングデータを要請し受信し、マルチビュー機能を用いてＭＭＴストリーミングデータを処理するために、端末１０に具備される機能のうちソフトウェア的に処理が可能な構成要素を制御部１３の機能として判断できる。
【００８５】
このような、本発明の制御部１３は、本発明の実施形態によるストリーミングデータ処理のために具備される少なくとも一つ以上の構成要素と機能的に連結される。すなわち、制御部１３は、通信部１１、入力部１２、格納部１４及び表示部１５と機能的に連結され、前記各構成要素に電源供給及び機能実行のための信号の流れを制御する。
【００８６】
特に、本発明の実施形態による制御部１３は、ＭＰＥＧメディアトランスポートストリーミングデータを処理できるＭＰＥＧ−２ＴＳ処理機能を支援できる。例えば、マルチビューサービスサーバー２０から伝達される複数のＭＰＵで構成されるＭＭＴストリーミングデータを受信でき、ストリーミングデータが複数のアセットで構成される場合、複数のアセットをタイム情報によって同期化して再生して出力する機能を行うことができる。また、本発明の制御部１３は、ＭＭＴプロトコルで定義する多様な動作実行のための機能を処理できる。このような本発明の制御部１３は、マルチビューストリーミングサービス機能を支援するために、第１画面制御モジュール１３ａ、第２画面制御モジュール１３ｂ、再生制御モジュール１３ｃ及びタイム生成モジュール１３ｄを含んで構成され得る。ここで、本発明の制御部１３が前記第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂのみを含むことを例示して説明するが、これに限定されるものではなく、本発明の制御部１３は、複数の画面制御モジュールで構成され、複数の画面で構成されるマルチビューストリーミングサービス機能を支援できる。すなわち、主画面である第１画面が表示されている状態で、副画面である第２画面及び第３画面を同時に表示することもでき、このためのそれぞれの画面制御モジュールを含んで構成され得る。なお、前述した機能は、一つのモジュールを介して動作されることもできる。
【００８７】
以下では、説明の便宜のために、主画面である第１画面制御モジュール１３ａ及び副画面である第２画面制御モジュール１３ｂを中心に説明する。
【００８８】
第１画面制御モジュール１３ａは、第１画面に対する第１ＭＭＴストリーミングデータの再生処理を支援する。ここで、第１画面は、全体画面を介して表示される主画面になり得る。また、第２画面制御モジュール１３ｂは、第２画面に対する第２ＭＭＴストリーミングデータの再生処理を支援する。ここで、第２画面は、第１画面上に表示され、第１画面の表示サイズより小さく表示され得る副画面を意味できる。
【００８９】
第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂ間のＭＭＴストリーミングデータ再生の制御は、再生制御モジュール１３ｃを介して行われることができる。すなわち、再生制御モジュール１３ｃは、前記第１画面制御モジュール１３ａを介して第１画面に対する第１ＭＭＴストリーミングデータが再生されている状態で、入力部１２を介してマルチビューストリーミング再生要請が入力されると、前記第２画面制御モジュール１３ｂを駆動させて、副画面である第２画面が活性化されるように制御し、第２ＭＭＴストリーミングデータが第２画面を介して表示されるように、第２画面制御モジュール１３ｂを制御できる。この際、第２画面制御モジュール１３ｂを介して表示される第２画面に対する第２ＭＭＴストリーミングデータは、第１画面制御モジュール１３ａを介して表示される第１画面に対する第１ＭＭＴストリーミングデータと同一であってもよく、異なる場面、異なるチャネル等のように、互いに異なるＭＭＴストリーミングデータであってもよく。
【００９０】
すなわち、図５に示されたように、ＭＭＴストリーミングデータを再生できるアプリケーション６００が実行されている状態で、主画面である第１画面６１０を介して第１ＭＭＴストリーミングデータが再生され得る。この際、特定メニュー又は命令ボタンを介してマルチビューサービス機能が活性化されると、副画面である第２画面６２０が活性化されて表示され得、第１画面６１０と第２画面６２０は、同一のＭＭＴストリーミングデータを再生することもでき、互いに異なるチャネル、又は互いに異なるＭＭＴストリーミングデータを再生することもできる。同一のＭＭＴストリーミングデータの場合、第１画面６１０を介して表示される第１ＭＭＴストリーミングデータの一領域を拡大した第２ＭＭＴストリーミングデータを含むことができる。
【００９１】
従来のストリーミングサービスにおいてのマルチビュー機能の場合、第１画面６１０と第２画面６２０との間に表示されるストリーミングデータの再生時点に差が発生するという問題点がある。すなわち、同一のストリーミングデータを再生していても、第１画面６１０と第２画面６２０間の同期がなされず、第１画面６１０より第１画面６２０を介して出力されるストリーミングデータが遅延されて出力されるか、第１画面６１０を介して出力されるストリーミングデータが遅延されて出力され得るという問題点がある。
【００９２】
本発明は、このような問題点を改善するためのものであって、図４に示された本発明の再生制御モジュール１３ｃは、第１画面に対する第１ストリーミングデータと第２画面に対する第２ストリーミングデータを再生する前に、各ＭＰＵごとに挿入された再生タイム情報を確認した後、確認された再生タイム情報によって第１画面に対する第１ストリーミングデータと第２画面に対する第２ストリーミングデータの各ＭＰＵを同期化させて再生されるように制御できる。例えば、マルチビューサービスサーバー２０から受信された第１画面制御モジュール１３ａが要請した第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が「１０：１０：１０．３」であり、第２画面制御モジュール１３ｂが要請した第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が「１０：１０：１０．３」であると仮定する。そして、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが第１画面制御モジュール１３ａに伝達された時点が「１０：１０：１０．０」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが第２画面制御モジュール１３ｂに伝達された時点が「１０：１０：１０．３」であると仮定する。この際、前記第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂが各ストリーミングデータが受信され次第に、受信されたストリーミングデータを再生する場合、第１画面と第２画面間の再生時点が互いに異なるという問題点が発生される。しかし、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵと第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵは、互いに同一の時間の再生タイム情報を含んでいるので、再生制御モジュール１３ｃは各々のストリーミングデータが受信された直ちに、各制御モジュールを介して出力されるように制御するものではなく、再生タイム情報によっていずれか一つのストリーミングデータ（前述した例で第１画面に対する第１ＭＭＴストリーミングデータ）の以前ＭＰＵを所定時間増やすか、受信された現在ＭＰＵを所定時間遅延させて、１０：１０：１０．３秒に受信された各現在ＭＰＵが同一の時点（すなわち、１０：１０：１０．３秒）に再生されるように制御できる。
【００９３】
他の例として、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが第１画面制御モジュール１３ａに伝達された時点が「１０：１０：１０．５」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが第２画面制御モジュール１３ｂに伝達された時点が「１０：１０：１０．３」である場合、すなわち、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが挿入された再生タイム情報より遅く受信された場合を仮定する。この場合、再生制御モジュール１３ｃは、直ちにストリーミングデータが再生されるように制御するものではなく、第２画面制御モジュール１３ｂを制御し、第２画面に対する第２ＭＭＴストリーミングデータが１０：１０：１０．５秒に第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵと同時に再生されるように制御できる。言い換えれば、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータで再生タイム情報の同一のＭＰＵは、同時に再生されるように制御される。この際、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵのうちいずれか一つは、挿入された再生タイム情報より遅く再生されるか、速く再生され得る。
【００９４】
なお、本発明の実施形態による第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂは、それぞれ第１画面及び第２画面に対する各種イベント命令を処理できる。例えば、第２画面に対するサイズ調節イベントが発生すると、第２画面制御モジュール１３ｂは、マルチビューサービスサーバー２０でサイズ調節イベントを通知する。ここで、サイズ調節イベントは、例えば、第２画面領域に対するマルチタッチ入力によって発生し得る。第２画面制御モジュール１３ｂは、このようなサイズ調節イベントが発生すると、第２画面に対する以前サイズ情報、変更された現在サイズ情報、第２画面の位置情報等をマルチビューサービスサーバー２０で通知できる。なお、スイッチングイベントが発生すると、言い換えれば、第２画面と第１画面間のスイッチングイベントが発生すると、第１画面制御モジュール１３ａ又は第２画面制御モジュール１３ｂの両方のうちいずれか一つがマルチビューサービスサーバー２０でスイッチングイベントを通知できる。この時も、同様に、必要な情報を含んでマルチビューサービスサーバー２０に案内できる。
【００９５】
タイム生成モジュール１３ｄは、端末１０に具備された各種資源を利用して現在端末の時間情報を確認する。例えば、端末１０に具備されたＧＰＳを介して現在端末の時間情報を確認できる。
【００９６】
格納部１４は、本発明の実施形態による機能動作に必要な応用プログラムを含めて、当該応用プログラム実行中に発生する多様なデータを一時的に格納できる。特に、本発明の実施形態による格納部１４は、本発明の実施形態によるＭＭＴストリーミングデータ処理のための多様な命令を格納できる。
【００９７】
このような格納部１４は、大きく、プログラム領域とデータ領域を含むことができる。プログラム領域は、端末１０を起動させる運営体制（ＯＳ）のような端末１０の駆動のための関連した情報を格納する。データ領域は、端末１０の使用によって発生するデータが格納される領域であって、前述したように、ストリーミングデータ処理のための多様な命令が格納され得る。このような、格納部１４は、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）、ハードディスク（ｈａｒｄ  ｄｉｓｋ）、マルチメディアカードマイクロ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ）タイプのメモリ（例えば、ＳＤ又はＸＤメモリ等）、ラム（ＲＡＭ）、ロム（ＲＯＭ）等の格納媒体を含んで構成され得る。
【００９８】
表示部１５は、端末１０の機能実行中に発生する一連の動作状態及び動作結果等に対する情報を表示する。特に、本発明の表示部１５は、マルチビューサービスサーバー２０からストリーミングデータを再生することによって発生する情報を表示できる。特に、第１画面と第２画面に対応する領域に第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータが出力されて表示される過程を支援できる。なお、本発明の表示部１５は、第１画面及び第２画面以外の複数個の画面領域をさらに構成して出力することもできる。
【００９９】
このような、表示部１５は、前述したように、入力部１２とともに一つのタッチパネル（又はタッチスクリーン）の形態で具現されることもでき、前記入力部１２とともに具現される場合、ユーザのタッチ動作によって発生する多様な情報を表示できる。
【０１００】
また、前述したような本発明の表示部１５は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＴＦＴ−ＬＣＤ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ  ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅｓ）、発光ダイオード（ＬＥＤ）、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ  Ｍａｔｒｉｘ  Ｏｒｇａｎｉｃ  ＬＥＤ）、フレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）及び３次元ディスプレイ（３Ｄｉｍｅｎｓｉｏｎ）等で構成され得る。また、これらのうち一部のディスプレイは、それを介して外部が見られるように、透明型又は光透過型で構成され得る。これは、ＴＯＬＥＤ（Ｔｒａｎｓｐａｒａｎｔ  ＯＬＥＤ）を含む透明ディスプレイ形態で構成され得る。
【０１０１】
このように、図４を参照して端末１０の主要構成要素について説明した。しかし、図４に図示された構成要素がすべて必須構成要素であるものではなく、図示された構成要素より多い構成要素により端末１０が具現されることもでき、それより少ない構成要素により端末１０が具現されることもできる。例えば、端末１０は、電気的な信号である音源をアナログ信号に変換して出力する音源出力部（図示せず）をさらに含んで構成され得、このような音源出力部（図示せず）は、マルチビューサービスサーバー２０から伝達されたＭＭＴストリーミングデータの再生時に発生する多様な情報を出力できる。
【０１０２】
また、図４に図示された端末１０の主要構成要素の位置は、便宜上又は他の理由により変わってもよいことはもちろんである。また、制御部１３を構成するモジュールは、第１画面制御モジュール１３ａ、第２画面制御モジュール１３ｂ、再生制御モジュール１３ｃ及びタイム生成モジュール１３ｄのみを図示したが、これに限定されるものではなく、多様な機能を行う多様なモジュールで制御部１３が構成されることもできる。また、説明の便宜のために、第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂを用いて第１画面ＭＭＴストリーミングデータと第２画面ＭＭＴストリーミングデータが処理されることを例示して説明したが、一つのモジュールを用いて第１画面ＭＭＴストリーミングデータと第２画面ＭＭＴストリーミングデータが処理されることもできる。
【０１０３】
また、本発明では、説明の便宜のために、主画面である第１画面及び副画面である第２画面のみを例示して説明したが、副画面は、複数個生成され得、それぞれの副画面は、ＭＭＴストリーミングデータを受信して出力し得る。
【０１０４】
以下、本発明の実施形態によるマルチビューサービスサーバー２０の主要構成及び動作方法について説明する。
【０１０５】
図６は、本発明の実施形態によるマルチビューサービスサーバーの主要構成を示すブロック図である。
【０１０６】
図３及び図６を参照すれば、本発明の実施形態によるマルチビューサービスサーバー２０は、サーバー通信部２１、サーバー制御部２２及びサーバー格納部２３を含んで構成され得る。
【０１０７】
サーバー通信部２１は、端末１０と情報の送受信を支援する役目を行う。例えば、サーバー通信部２１は、端末１０からＭＭＴストリーミングデータの伝送要請を受信でき、端末１０にＭＭＴストリーミングデータを伝送できる。ここで、ＭＭＴストリーミングデータは、一つ以上のアセットで構成され得、一つのアセットは、複数個のＭＰＵで構成され得る。サーバー通信部２１は、複数個のＭＰＵで構成される複数のアセットをストリーミング方式に従って順次に一つのチャネルを介して端末１０に伝達できる。また、本発明のサーバー通信部２１は、端末１０の要請に従って第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを順次に端末１０に伝達でき、この際の第１、第２ＭＭＴストリーミングデータは、同一のアセットＩＤを含むか、互いに異なるアセットＩＤを含むことができる。また、第１、第２ＭＭＴストリーミングデータは同一のチャネルを介して端末１０に伝達されるか、互いに異なるチャネルを介して端末１０に伝達されることもできる。
【０１０８】
なお、サーバー通信部２１がコンテンツ提供サーバー３０と情報を送受信する場合、サーバー通信部２１は、特定のコンテンツの提供要請をコンテンツ提供サーバー３０に伝送し、コンテンツ提供サーバー３０から伝達されるコンテンツを受信することもできる。この際、本発明のサーバー通信部２１は、サーバー制御部２２の制御によってコンテンツ提供サーバー３０から第１画面及び第２画面ストリーミングデータ生成のために必要なコンテンツをあらかじめ要請し、端末１０のマルチビューストリーミングサービス要請以前に当該コンテンツを受信できる。
【０１０９】
サーバー制御部２２は、本発明の実施形態によるマルチビューサービスサーバー２０の全般的な制御を行う構成であって、ストリーミングデータ生成モジュール２２ａ及びストリーミングデータ伝送モジュール２２ｂを含んで構成され得る。
【０１１０】
ここで、ストリーミングデータ生成モジュール２２ａは、ＭＭＴストリーミングデータを生成する役目を行うことができる。例えば、ストリーミングデータ生成モジュール２２ａはコンテンツ提供サーバー３０から伝達されるコンテンツを、ＭＭＴプロトコルを支援するストリーミングデータ形態に変換処理する過程を支援できる。この際、ストリーミングデータ生成モジュール２２ａは、ＭＭＴストリーミングデータの変換時に、ＭＰＵのブロックサイズを決定し、決定されたＭＰＵのブロックサイズによって各ＭＰＵを構成し、ＭＭＴストリーミングデータを生成できる。ここで、ＭＰＵのブロックサイズは、端末１０の状況情報によって、及び、又は端末１０に連結された通信網５０の状況によって可変的に調節され得る。また、本発明のストリーミングデータ生成モジュール２２ａは、各ＭＰＵ別に再生タイム情報を挿入し、端末１０がこれを同期化して再生されるように、必要な過程を行うことができる。例えば、図７に示されたように、ＭＭＴストリーミングデータは、複数個のＭＰＵで構成され得、複数個のＭＰＵが順次に端末１０に伝達され得る。この際、各ＭＰＵは、図２を参照して説明したように、ヘッダー情報５０７を含むことができ、各ヘッダー情報５０７は、ＭＰＵ  ＩＤ、ＵＴＣ（Ｕｎｉｖｅｒｓａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）等のデータ処理に必要な情報を含むことができる。ここで、ＵＴＣは、再生タイム情報を意味する。
【０１１１】
特に、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、端末１０の要請に従って第１画面に対する第１ＭＭＴストリーミングデータを生成でき、第２画面に対する第２ＭＭＴストリーミングデータを生成できる。この際、ストリーミングデータ生成モジュール２２ａは、端末１０の第１画面の支援解像度に合わせて第１画面に対する第１ＭＭＴストリーミングデータの解像度及びフレーム数を調節して生成し得、第２画面の支援解像度に合わせて第２画面に対する第２ＭＭＴストリーミングデータの解像度及びフレーム数を調節して生成し得る。すなわち、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、ＭＭＴ方式に従ってストリーミングデータを生成することによって、複雑なエンコーディング手続なしに、第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを生成でき、これにより、端末１０の要請に従ってより迅速に解像度及びフレーム数を調節し、ＭＭＴストリーミングデータの提供が可能になる。
【０１１２】
また、本発明のストリーミングデータ生成モジュール２２ａは、端末１０のマルチビューストリーミングサービス要請前に、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータ生成のために必要な情報をコンテンツ提供サーバー３０に要請し、あらかじめ受信できる。例えば、端末１０に第１画面に対する第１ＭＭＴストリーミングデータを提供する場合、ストリーミングデータ生成モジュール２２ａは、当該端末１０のマルチビューストリーミングサービス要請に待機して、あらかじめ第２画面に対する第２ＭＭＴストリーミングデータ生成のための情報をコンテンツ提供サーバー３０に要請して受信し得る。これにより、端末１０からマルチビューストリーミングサービス提供の要請時に、ストリーミングデータ生成モジュール２２ａは、直ちに第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを端末１０に迅速に提供できる。
【０１１３】
なお、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、端末１０からのマルチビューストリーミングサービスと関連した多様なイベント情報を処理できる。例えば、端末１０から第２画面に対するサイズ調節イベントと関連した情報が受信されれば、ストリーミングデータ生成モジュール２２ａは、前記端末１０のサイズ調節イベントによって第２画面に対する第２ＭＭＴストリーミングデータの解像度及びフレーム数を変更し、変更された第２画面に対する第２ＭＭＴストリーミングデータを提供できる。また、端末１０からスイッチングイベントに対する情報が受信されれば、ストリーミングデータ生成モジュール２２ａは、前記端末１０のスイッチングイベントによって第１画面及び第２画面に対する第１、第２ＭＭＴストリーミングデータの解像度及びフレーム数を各々変更し、変更された第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを提供できる。すなわち、前述したように、ＭＭＴ方式に従って各ストリーミングデータを提供することによって、端末１０で発生する多様なイベント情報によって、迅速に第１画面及び第２画面に対するＭＭＴストリーミングデータの解像度及びフレーム数を変更して提供し得る。
【０１１４】
また、ストリーミングデータ伝送モジュール２２ｂは、ＭＭＴストリーミングデータを要請した端末１０に当該ＭＭＴストリーミングデータを伝送する役目を行うことができる。この際、端末１０が要請したＭＭＴストリーミングデータが複数のＭＰＵで構成される複数のアセットを含む場合、これを順次に端末１０が受信するように制御する役目を行うことができる。なお、本発明のストリーミングデータ伝送モジュール２２ｂは、端末１０から伝達すされるベント情報によって、ストリーミングデータ生成モジュール２２ａに要請し、該当するＭＭＴストリーミングデータが生成されるように支援することもできる。
【０１１５】
さらに、本発明のサーバー制御部２２は、ＭＭＴストリーミングデータを要請した端末１０に対する情報を格納し、管理し得る。この際、いずれか一つの端末１０がＭＭＴストリーミングデータを要請した場合、当該端末１０が、自分が提供するマルチビューストリーミングサービスに加入されたユーザであるか否かを確認でき、自分が提供するマルチビューストリーミングサービスに加入されたユーザである場合にのみ、ＭＭＴストリーミングデータが提供されるように制御することもできる。
【０１１６】
サーバー格納部７３は、本発明の実施形態によるマルチビューサービスサーバー２０の動作実行に必要な各種情報を格納し、管理する役目を行うことができる。
【０１１７】
以上、本発明の実施形態によるマルチビューサービスサーバー２０の主要構成及び動作方法について説明した。
【０１１８】
本発明の実施形態によるマルチビューサービスサーバー２０は、ハードウェア的には、通常的なウェブサーバー（Ｗｅｂ  Ｓｅｒｖｅｒ）又はネットワークサーバーと同一の構成を有する。しかし、ソフトウェア的には、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｖｉｓｕａｌ  Ｃ等のような言語を用いて具現されるプログラムモジュール（Ｍｏｄｕｌｅ）を含む。
【０１１９】
なお、本発明の各装置に搭載されるメモリは、当該装置内で情報を格納する。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであってもよく、他の具現例の場合、メモリは、非揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な互いに異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、或いは、任意の他の大容量格納装置を含むこともできる。
【０１２０】
なお、本発明の実施形態で使用される「〜モジュール」という用語は、ソフトウェア構成要素を意味し、「〜モジュール」は、所定の役目を行う。一例として「〜モジュール」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。また、構成要素と「〜モジュール」内で提供される機能は、さらに小さい数の構成要素及び「〜モジュール」に結合されるか、追加的な構成要素と「〜モジュール」とにさらに分離され得る。
【０１２１】
たとえ本明細書と図面では、例示的な装置構成を記述しているが、本明細書で説明する機能的な動作と主題の具現物は、他の類型のデジタル電子回路で具現されるか、本明細書で開示する構造及びその構造的な等価物を含むコンピュータソフトウェア、ファームウエア或いはハードウェアで具現されるか、これらのうち一つ以上の結合で具現可能である。本明細書で説明する主題の具現物は、一つ以上のコンピュータプログラム製品、言い換えれば、本発明による装置の動作を制御するために、或いはこれによる実行のために、有形のプログラム格納媒体上にエンコーディングされたコンピュータプログラム命令に関する一つ以上のモジュールとして具現され得る。コンピュータで読み取り可能な媒体は、機械で読み取り可能な格納装置、機械で読み取り可能な格納基板、メモリ装置、機械で読み取り可能な電波型信号に影響を及ぼす物質の組成物或いはこれらのうち一つ以上の組合であることができる。
【０１２２】
以下、本発明の実施形態によるマルチビューストリーミングサービス提供方法について説明する。
【０１２３】
図８は、本発明の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
【０１２４】
図８を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを要請できる（Ｓ１０１、Ｓ１０３）。前記過程は、同時に行われることができる。また、第１画面に対する第１ＭＭＴストリーミングデータが再生されている状態で、マルチビューストリーミング再生要請が発生すると、第２画面に対する第２ＭＭＴストリーミングデータを要請することもできる。
【０１２５】
これにより、マルチビューサービスサーバー２０は、各ＭＭＴストリーミングデータを生成する（Ｓ１０５）。この際、マルチビューサービスサーバー２０は各ストリーミングデータのＭＰＵユニットに再生タイム情報を挿入し、端末１０に第１画面に対する第１ストリーミングデータ及び第２画面に対する第２ストリーミングデータを伝送する（Ｓ１０７、Ｓ１０９）。
【０１２６】
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ１１１）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ１１３）。
【０１２７】
例えば、マルチビューサービスサーバー２０から受信された第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報と第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が全て「１０：１０：１０．３」であると仮定する。また、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．０」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．３」であると仮定する。この場合、端末１０は、再生タイム情報によって第１画面に対する第１ＭＭＴストリーミングデータの以前ＭＰＵの再生を所定時間増やすか、受信された現在ＭＰＵを所定時間遅延させて、１０：１０：１０．３秒に受信された各現在ＭＰＵが同一の時点（すなわち、１０：１０：１０．３秒）に再生されるように制御できる。
【０１２８】
他の例として、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．５」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．３」である場合、端末１０は、第２画面に対する第２ＭＭＴストリーミングデータの以前ＭＰＵを一定時間遅延させて再生されるようにした後、１０：１０：１０．５秒に第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵと同時に再生されるように制御できる。
【０１２９】
言い換えれば、本発明は、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータで再生タイム情報の同一のＭＰＵは、同時に再生されるように制御するもので、この際、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵのうちいずれか一つは、挿入された再生タイム情報より遅く再生されるか、速く再生され得る。
【０１３０】
なお、本発明の実施形態によるマルチビューストリーミングサービスは、端末１０で発生する多様なイベント情報によって対応するマルチビューストリーミングサービスを提供できる。
【０１３１】
これについて図９及び図１０を参照して説明する。
【０１３２】
図９は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
【０１３３】
図９を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを要請し、これを受信できる（Ｓ２０１、Ｓ２０３）。この際、マルチビューサービスサーバー２０は、第１画面に対する第１ＭＭＴストリーミングデータは、例えば、秒当たり３０フレーム（３０ｆｒａｍｅ／ｓｅｃ）で具現し、端末１０に伝送でき、第２画面に対する第２ＭＭＴストリーミングデータは、例えば、秒当たり２０フレーム（２０ｆｒａｍｅ／ｓｅｃ）で具現し、端末１０に伝送できる。ここで、前記受信される過程は、同時に行われることができる。
【０１３４】
端末１０は、受信された各ストリーミングデータを再生タイム情報によって同期化して再生している状態で、第２画面に対するサイズ調節イベントが発生するかを判断する（Ｓ２０５）。前記判断結果、第２画面に対するサイズ調節イベントが発生すると、端末１０は、マルチビューサービスサーバー２０でサイズ調節イベントを通知するようになる。この際、端末１０は、第２画面に対する以前サイズ情報、変更された現在サイズ情報、第２画面の位置情報等を含んでマルチビューサービスサーバー２０で通知できる。
【０１３５】
これを受信したマルチビューサービスサーバー２０は、サイズ調節イベントによって第２画面に対する第２ストリーミングデータの解像度を変更する（Ｓ２０９）。例えば、端末１０の第２画面解像度が３２０ｘ１２８である状態で、サイズ調節イベントによって第２画面領域が６４０ｘ４８０に拡大された場合、これに対する情報を確認したマルチビューサービスサーバー２０は、前記変更された解像度によって以後に発生する第２画面に対する第２ＭＭＴストリーミングデータの各ＭＰＵを変更できる。この際、マルチビューサービスサーバー２０は、変更された解像度によってフレーム数を調節でき、調節されたフレーム数に合わせて各ＭＰＵを調節できる。
【０１３６】
また、マルチビューサービスサーバー２０は、再構成された第２画面に対する第２ＭＭＴストリーミングデータの各ＭＰＵに再生タイム情報を挿入し（Ｓ２１１）、第１画面に対する第１ＭＭＴストリーミングデータの各ＭＰＵにも再生タイム情報を挿入した後、各ＭＭＴストリーミングデータを端末１０に伝送できる（Ｓ２１３、Ｓ２１５）。
【０１３７】
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ２１７）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ２１９）。
【０１３８】
図１０は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
【０１３９】
図１０を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを要請し、これを受信できる（Ｓ３０１、Ｓ３０３）。前記受信される過程は、同時に行われることができる。
【０１４０】
端末１０は、受信された各ストリーミングデータを再生タイム情報によって同期化して再生している状態で、スイッチングイベントが発生するかを判断する（Ｓ３０５）。前記判断結果、第２画面と第１画面間のスイッチングイベントが発生すると、端末１０は、マルチビューサービスサーバー２０でスイッチングイベントを通知するようになる。ここで、スイッチングイベントは、第２画面で表示されている映像と第１画面で表示される映像を互いに転換して表示するためのユーザ要請イベントを意味する。
【０１４１】
なお、端末１０は、マルチビューサービスサーバー２０においてスイッチングイベント処理のために必要な情報を含んでマルチビューサービスサーバー２０で通知できる。
【０１４２】
これを受信したマルチビューサービスサーバー２０は、スイッチングイベントによって第１画面及び第２画面をスイッチングするために、各ＭＭＴストリーミングデータの解像度及びフレームを調節する（Ｓ３０９）。また、マルチビューサービスサーバー２０は、解像度及びフレーム数が調節された各ＭＭＴストリーミングデータのＭＰＵごとに再生タイム情報を挿入し（Ｓ３１１）、各ＭＭＴストリーミングデータを端末１０に伝送できる（Ｓ３１３、Ｓ３１５）。
【０１４３】
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ３１７）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ３１９）。
【０１４４】
以上、本発明の実施形態によるマルチビューストリーミングサービス提供方法について説明した。
【０１４５】
前述したような本発明の実施形態によるマルチビューストリーミングサービス提供方法は、コンピュータプログラムコマンドとデータを格納するのに適合なコンピュータで読み取り可能な媒体の形態で提供されることもできる。本発明の一実施形態によるマルチビューストリーミングサービス提供方法を具現するための記録媒体に記録されるプログラムは、端末がマルチビューサービスサーバーに第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、前記端末が前記マルチビューサービスサーバーから前記第１画面に対するストリーミングデータと第２画面に対するストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、前記端末が前記確認された再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように制御する段階等を行うことができる。
【０１４６】
この際、記録媒体に記録されたプログラムは、コンピュータで読み出されて設置され、実行されることによって、前述した機能を実行できる。
【０１４７】
ここで、コンピュータが記録媒体に記録されたプログラムを読み出して、プログラムで具現された機能を実行させるために、前述したプログラムは、コンピュータのプロセッサ（ＣＰＵ）がコンピュータの装置インターフェース（Ｉｎｔｅｒｆａｃｅ）を介して読み出されることができるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、機械語等のコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。
【０１４８】
このようなコードは、前述した機能を定義した関数等と関連した機能的なコード（Ｆｕｎｃｔｉｏｎ  Ｃｏｄｅ）を含むことができ、前述した機能をコンピュータのプロセッサが所定の手続に基づいて実行させるのに必要な実行手続関連制御コードを含むこともできる。また、このようなコードは、前述した機能をコンピュータのプロセッサが実行させるのに必要な追加情報やメディアがコンピュータの内部又は外部メモリのどの位置（アドレス番地）で参照されなければならないかに対するメモリ参照関連コードをさらに含むことができる。また、コンピュータのプロセッサが前述した機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバー等と通信が必要な場合、コードは、コンピュータのプロセッサがコンピュータの通信モジュールを利用して遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバー等とどのように通信しなければならないか、通信時にどんな情報やメディアを送受信しなければならないか等に対する通信関連コードをさらに含むこともできる。
【０１４９】
このような、コンピュータプログラムコマンドとデータを格納するのに適したコンピュータで読み取り可能な媒体は、例えば、記録媒体は、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ  Ｍｅｄｉａ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｋ）のような光記録媒体（Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−ＯｐｔｉｃａｌＭｅｄｉａ）、及びロム（ＲＯＭ、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ラム（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）のような半導体メモリを含む。プロセッサとメモリは、特殊目的の論理回路により補充されるか、それに統合され得る。
【０１５０】
また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納され、実行され得る。また、本発明を具現するための機能的な（Ｆｕｎｃｔｉｏｎａｌ）プログラムとこれと関連したコード及びコードセグメント等は、記録媒体を読み出してプログラムを実行させるコンピュータのシステム環境等を考慮して、本発明の属する技術分野におけるプログラマーによって容易に推論されるか、または変更されることもできる。
【０１５１】
本明細書は、多数の特定の具現物の詳細事項を含むが、これらは、如何なる発明や請求可能なものの範囲に対しても制限的なものとして理解されてはならず、むしろ特定の発明の特定の実施形態に特有な特徴に対する説明として理解しなければならない。個別的な実施形態の文脈で本明細書に記述された特定の特徴は、単一実施形態で組み合わせて具現されることもできる。反対に、単一実施形態の文脈で記述した多様な特徴も個別的に或いは如何なる適切な下位組合でも複数の実施形態で具現可能である。さらに、特徴が特定の組合で動作し、初期にそのように請求されたように描写され得るが、請求された組合からの一つ以上の特徴は、一部の場合にその組合から排除され得、その請求された組合は、下位組合や下位組合の変形物に変更され得る。
【０１５２】
同様に、特定の手順で図面で動作を描いているが、これは、好適な結果を得るために図示されたその特定の手順や順次な順にそのような動作を実行しなければならないか、すべての図示された動作が実行されなければならないものと理解されてはならない。特定の場合、マルチタスキングと並列プロセッシングが有利であることができる。また、前述した実施形態の多様なシステムコンポネントの分離は、そのような分離をすべての実施形態で要求するものと理解されてはならず、説明したプログラムコンポネントとシステムは、一般的に単一のソフトウェア製品に一緒に統合されるか、多重ソフトウェア製品にパッケージングされ得るという点を理解しなければならない。
【図１】
0006427692.tif 000002
【図２】
0006427692.tif 000003
【図３】
0006427692.tif 000004
【図４】
0006427692.tif 000005
【図５】
0006427692.tif 000006
【図６】
0006427692.tif 000007
【図７】
0006427692.tif 000008
【図８】
0006427692.tif 000009
【図９】
0006427692.tif 000010
【図１０】
0006427692.tif 000011