(57)【要約】メインの３次元コンテンツ及び補助のコンテンツを提供する３次元マルチメディア装置で使用される方法は、３次元ディスプレイでメインの３次元コンテンツを表示する段階、及びメインの３次元のコンテンツの３Ｄの関連するイベントにより補助のコンテンツをトリガする段階を含む。
2013535889.tif 000002
【特許請求の範囲】
【請求項１】
３次元（３Ｄ）マルチメディア装置で使用されるメインの３次元コンテンツ及び補助のコンテンツを提供する方法であって、
前記メインの３Ｄコンテンツを表示する段階と、
前記メインの３Ｄコンテンツの３Ｄに関連するイベントにより前記補助のコンテンツをトリガする段階と、
を含む方法。
【請求項２】
前記３Ｄに関連するイベントは、予め決定されたトリガ条件が前記メインの３Ｄコンテンツで生じたときに前記補助のコンテンツをトリガするため、前記予め決定されたトリガ条件と比較される、
請求項１記載の方法。
【請求項３】
前記メインの３Ｄコンテンツの前記３Ｄに関連するイベントは、前記メインの３Ｄコンテンツの深さの値、前記メインの３Ｄコンテンツのオブジェクト又は領域の３Ｄ位置、３Ｄ姿勢及び３Ｄスケールを含むグループの一部である、
請求項１又は２記載の方法。
【請求項４】
前記メインの３Ｄコンテンツと共に前記補助のコンテンツを表示するか、又は前記メインの３Ｄコンテンツとは個別に前記補助のコンテンツを表示する段階を更に含む、
請求項１乃至３の何れか記載の方法。
【請求項５】
前記補助のコンテンツは、グラフィックス、テキスト、オーディオ及び／又はビデオを含むマルチメディアデータ、及び３Ｄ画像の集合である、
請求項１乃至４の何れか記載の方法。
【請求項６】
前記メインの３Ｄコンテンツの再生の間に、コンフィギュレーションの変化と共に前記補助のコンテンツを更新する段階を更に含む、
請求項１乃至５の何れか記載の方法。
【請求項７】
前記補助のコンテンツの前記深さの値は、前記メインの３Ｄコンテンツの深さの値の変化と共に更新される、
請求項６記載の方法。
【請求項８】
メインの３次元（３Ｄ）コンテンツと補助のコンテンツを提供する３Ｄマルチメディア装置であって、
前記メインの３Ｄコンテンツを表示する３Ｄディスプレイと、
前記メインの３Ｄコンテンツの３Ｄに関連するイベントにより前記補助のコンテンツの表示をトリガするユーザ端末と、
を備える３Ｄマルチメディア装置。
【請求項９】
前記メインの３Ｄコンテンツの深さの値、前記メインの３Ｄコンテンツのオブジェクト又は領域の３Ｄ位置、３Ｄ姿勢及び３Ｄスケールを含む３Ｄに関連するイベントトリガを記憶するイベントトリガリストモジュールを更に含む、
請求項８記載の３Ｄマルチメディア装置。
【請求項１０】
前記イベントトリガをチェックし、前記３Ｄに関連するイベントを予め決定されたトリガ条件に比較し、前記予め決定されたトリガ条件が前記メインの３Ｄコンテンツで生じたときに、表示すべき関連する補助のコンテンツをサーチするイベントエンジンを更に備える、
請求項１乃至９の何れか記載の３Ｄマルチメディア装置。
【請求項１１】
メインの３次元（３Ｄ）コンテンツと補助のコンテンツを含むマルチメディアコンテンツを供給する方法であって、
再生すべきメインの３Ｄコンテンツを提供する段階と、
前記メインの３Ｄコンテンツの３Ｄの関連するイベントによりトリガされ、前記メインの３Ｄコンテンツと共に再生されるか、又は前記メインの３Ｄコンテンツとは別に再生される補助のコンテンツを生成する段階と、
を含む方法。
【請求項１２】
イベントトリガが前記メインの３Ｄコンテンツの前記３Ｄの関連するイベントを前記補助のコンテンツに関連付けする段階を更に含む、
請求項１１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元（３Ｄ）通信システムにおいてメインの３Ｄコンテンツと補助のコンテンツを提供する方法及び装置に関する。
【背景技術】
【０００２】
ＤＶＢ−Ｈ（Digital  Video  Broadcasting  −  Handheld）、ＤＶＢ−Ｔ（Digital  Video  Broadcasting  −  Terrestrial）又は他のクライアントサーバ通信システムのようなデジタル通信システムにより、エンドユーザは、ビデオ、オーディオ及びデータを含むデジタルコンテンツを受信することができる。固定された端末又は移動体端末を使用して、ユーザは、ケーブルデジタル通信ネットワーク又は無線デジタル通信ネットワークを通してデジタルコンテンツを受信する。例えば、ユーザは、メインのコンテンツとして、データストリームにおけるブロードキャストプログラムのようなビデオデータを受信する場合がある。番組タイトル、ニュース、対話型サービス、又は、更なるオーディオ、ビデオ及びグラフィックスを含む対話型マルチメディアコンテンツのような、メインのコンテンツに関連する補助的なコンテンツも利用可能な場合がある。
【０００３】
補助的なコンテンツは、グラフィックス、テキスト、オーディオ及びビデオ等のようなマルチメディアデータの集合であり、これらマルチメディアデータは、オーディオ／ビデオ（Ａ／Ｖ）ストリームであるメインのコンテンツに基づいて時間につれて変化する場合がある。Ａ／Ｖストリームは、それ自身のタイムラインを有しており、ここで、タイムラインは、タイムスタンプによりビデオ／オーディオ系列が順序付けされることを記述するために使用される用語である。対応する対話型マルチメディアコンテンツもタイムラインを有しており、このタイムラインは、開始ポイントタグのような、参照によるこのＡ／Ｖストリームのタイムラインに関する。すなわち、対応する対話型マルチメディアコンテンツとＡ／Ｖストリームとの間に時間的な同期が存在する。開始ポイントタグは、Ａ／Ｖストリームのタイムラインの特定の時間点を示す。Ａ／Ｖストリームが特定の時間点で再生されるとき、対応する対話型マルチメディアコンテンツを再生するためのイベントがトリガされる。
【０００４】
２Ｄコンテンツに関連する情報サービスは、過去何年もの間、２Ｄ対話型メディア又は２Ｄリッチメディアで研究されており、多くの組織及び企業は、この技術の標準化又は産業化に取り組んでいる。ＯＭＡ（Open  Mobile  Alliance）のBCASTワーキンググループは、ＲＭＥ（Rich-Media  Environment）のイネイブラーを公表し、３ＧＰＰ（3rd  Generation  Partnership  Project）は、ＤＩＭＳ（Dynamic  and  Interactive  Multimedia  Scenes）を公表し、ＩＳＯ／ＩＥＣは、２Ｄリッチメディアのその国際標準／勧告としてＬＡＳｅＲ（Lightweight  Application  Scene  Representation）を公表し、Adobe  Flash  and  Microsoft  SilverLightは、Internetで使用される２つの人気のある２Ｄ対話型メディア技術である。
【０００５】
２Ｄコンテンツに関連する情報サービスは、メインコンテンツ（例えば２Ｄライブビデオ、アニメーション等）及び補助コンテンツ（例えばビデオ、オーディオ、テキスト、アニメーション、グラフィックス等）を通常含んでいる一方、現在のリッチメディア仕様は、それぞれのメディアエレメントのロード、スタート、ストップ及びアンロード時間を定義することで、タイムライン上で異なる２Ｄメディアエレメントをどのように提示するかに焦点を当てているのみである。
【０００６】
過去何年もの間、３Ｄインタフェース及びインタラクションのような３Ｄ立体技術は、学究的世界及び企業の両者における多数の関心を惹きつけている。しかし、特に３Ｄ入力及び表示に関するハードウェアの制限のため、３Ｄインタフェースのユーザビリティは、マスマーケットにとって十分に良好ではない。しかし、３Ｄ立体ディスプレイの近年の開発及び展開により、３Ｄディスプレイは、非常に制限された玄人相場の代わりに、商業市場に入り始めている。
【０００７】
３Ｄ立体の基本的な考えは１９世紀に登場した。我々の２つの眼が近似的に６．５ｃｍだけ互いに離れているため、それぞれの目は、我々が見ているシーンの僅かに異なる角度のビューを見て、異なる奥行き（perspective）を提供する。次いで、我々の脳は、我々の眼からの２つのビューに基づいて、シーン内の深さの感覚を形成する。図１は、３Ｄ立体ディスプレイの基本概念を示しており、Ｚは、知覚されたオブジェクトの深さであり、Ｄは、スクリーンの距離であり、４つのオブジェクトは、スクリーンの前（車両）、スクリーン上（柱状のもの）、スクリーンの背後（木）及び無限遠方（ボックス）で知覚される。オブジェクトの左の図が右目で見る事ができ、オブジェクトの右の図が左目で見る事ができる場合、オブジェクトの深さは正であり、車両のようなスクリーンの前にあるように知覚される。さもなければ、オブジェクトの深さが負であり、木のようにスクリーンの背後にあるように知覚される。オブジェクトの２つの図が２つの目に対して真向かいにある場合、オブジェクトの深さは無限である。大部分の現代の３Ｄディスプレイは、３Ｄ立体の概念に基づいて構築されており、主要な違いは、２つのビューを左目と右目とにそれぞれどのように分離するかである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
３Ｄコンテンツに関連した情報サービスでは、メインコンテンツと補助コンテンツとを含む３Ｄ対話型メディア送信及び表示が期待される場合がある。従って、３Ｄ通信システムにおいて補助コンテンツのトリガ及び表示を有することが重要である。
【課題を解決するための手段】
【０００９】
本発明は、３Ｄマルチメディア装置で使用されるメインの３Ｄコンテンツ及び補助のコンテンツとを提供する方法に関し、メインの３Ｄコンテンツを表示する段階、メインの３Ｄコンテンツの３Ｄに関連するイベントにより補助のコンテンツをトリガする段階を含む。  
また、本発明は、メインの３Ｄコンテンツ及び補助のコンテンツを供給する３Ｄマルチメディア装置に関し、メインの３Ｄコンテンツを表示する３Ｄディスプレイ、及びメインの３Ｄコンテンツの３Ｄに関連したイベントにより補助のコンテンツの表示をトリガするユーザ端末を備える。  
さらに、本発明は、メインの３Ｄコンテンツ及び補助コンテンツを含むマルチメディアコンテンツを供給する方法に関し、再生されるメインの３Ｄコンテンツを供給する段階、及び、メインの３Ｄコンテンツの３Ｄに関連するイベントによりトリガされ、メインの３Ｄコンテンツと共に再生されるか、又はメインの３Ｄコンテンツとは別に再生される補助のコンテンツを生成する段階を含む。
【図面の簡単な説明】
【００１０】
本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に実施の形態の以下の説明から明らかとなるであろう。
【図１】従来技術における３Ｄ立体ディスプレイの基本概念を示す図である。
【図２】本発明の実施の形態に係る３Ｄマルチメディア装置を示すブロック図である。
【図３】本発明の実施の形態に係るイベントトリガリストを示すブロック図である。
【図４】本発明の実施の形態に係るイベントトリガを示す例を示す図である。
【図５】本発明の実施の形態に係る３Ｄ補助コンテンツのトリガの例を示す図である。
【図６】本発明の実施の形態に係る補助コンテンツを供給する方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下の詳細な説明では、メインの３Ｄコンテンツ及び補助コンテンツを供給するシステム及び方法は、本発明の完全な理解を提供するために述べられる。しかし、本発明は、本発明のこれらの特定の詳細なしに実施されるか、又は本発明の等価な概念により実施される場合があることを当業者により認識されるであろう。他の例では、公知の方法、手順、コンポーネント及び回路は、本発明の態様を不必要に曖昧にしないように詳細に記載されていない。
【００１２】
図２は、本発明の実施の形態に係る３Ｄマルチメディア装置１００を示すブロック図である。図２に示されるように、３Ｄマルチメディア装置１００は、ユーザ端末１０１及び少なくとも１つの３Ｄディスプレイ１０２を含む。ユーザ端末１０１及び３Ｄディスプレイ１０２は、単一の装置に結合することができ、或いは、セットトップボックス（STB）、ＤＶＤ／ＢＤプレーヤ又はレシーバ、及びディスプレイのような個別の装置とすることができる。ユーザ端末１０１は、３Ｄ対話型メディアデマルチプレクサ（demux）１０５、メインの３Ｄコンテンツデコーダ１０３、補助コンテンツデコーダ１０４、イベントエンジン１０７、イベントトリガリストモジュール１０６、及びコンフィギュレーションアップデータ１０８を含む。
【００１３】
３Ｄ対話型メディアコンテンツが作成され、ヘッドエンド装置（図示せず）から送信され、メインコンテンツ及び補助コンテンツを含むマルチメディアコンテンツを端末が受信したとき、端末１０１の処理が開始する。ここで、ヘッドエンド装置は、サーバ装置とも呼ぶことができる、多重化、リタイミング（retiming）、送信等の機能を提供する装置である。また、マルチメディアコンテンツは、クライアント装置１００により再生されるディスク（図示せず）のような取り外し可能な記憶媒体に記憶することができ、又は、クライアント装置のメモリに記憶することができる。
【００１４】
本発明の実施の形態によれば、メインの３Ｄコンテンツ及び補助コンテンツを含むマルチメディアコンテンツは、クライアント装置１００に供給される。メインの３Ｄコンテンツは、ディスプレイで表示され、補助のコンテンツは、メインの３Ｄコンテンツの３Ｄに関連するイベントによりトリガされ、ディスプレイ１０２でメインの３Ｄコンテンツと共に再生される。ここで、補助コンテンツは、３Ｄコンテンツに制限されず、補助コンテンツは２Ｄコンテンツであるか、又は更には、オーディオ情報とすることができる。さらに、マルチメディアコンテンツは、メインの３Ｄコンテンツ及び補助コンテンツを互いに関連付けする３Ｄに関連したイベントトリガを含むイベントトリガを更に含む。
【００１５】
３Ｄイベントトリガは、所定の値を超えるメインの３Ｄコンテンツにおける所与の領域又はオブジェクトの深さ、又は閾値よりも小さいか又は大きいメインの３Ｄコンテンツにおける所与のオブジェクトのサイズのような、メインの３Ｄコンテンツの記述ファイルにおける条件式である。メインの３Ｄコンテンツ及び補助のコンテンツは、関連するトリガを含む記述ファイルにおける条件式により関連付けされる。
【００１６】
３Ｄ対話型メディアｄｅｍｕｘ１０５は、ネットワークを通して又は記憶媒体から、受信したマルチメディアコンテンツを分析し、メインの３Ｄコンテンツ、補助のコンテンツを抽出し、イベントトリガは、これらを互いに関連付けする。メインの３Ｄコンテンツは、３Ｄライブのブロードキャストビデオ又は３Ｄアニメーションであり、補助のコンテンツは、３Ｄビデオクリップ、３Ｄグラフィックモデル、３Ｄユーザインタフェース、３Ｄアプレット又はウィジェットを含み、イベントトリガは、時間、３Ｄオブジェクトの位置、３Ｄオブジェクトの姿勢、３Ｄオブジェクトのスケール、オブジェクトのカバーリング関係、ユーザ選択、及びシステムイベントの組み合わせである。
【００１７】
メインの３Ｄコンテンツデコーダ１０３によりデコードされた後、メインの３Ｄコンテンツは、３Ｄディスプレイ１０２で再生される。補助のコンテンツは、所与の有効期間によりローカルバッファに記憶されて、レンダリングされる準備がされ、記述ファイルにおけるイベントトリガは、トリガ条件によりソートされるイベントトリガリストモジュール１０６に入る。トリガの条件は、メインの３Ｄコンテンツのタイムラインの特定の時間点であるか、又は３Ｄに関連するトリガのタイムラインの特定の時間点とすることができる。上述されたように、３Ｄに関連するトリガは、メインの３Ｄコンテンツの３Ｄの深さ、３Ｄの位置、３Ｄの姿勢及び３Ｄのスケールの特定の値又は範囲、オブジェクトのカバーリング関係等とすることができる。
【００１８】
図３は、本発明の実施の形態に係るイベントトリガリストを示すブロック図である。Event  Trigger  1，．．．，Event  Trigger  nは、イベントトリガリストのエレメントである。それぞれのイベントトリガは、上述されたトリガ条件、及び応答イベントを含む。応答イベントは、補助コンテンツの記憶されているオリジナルのコンフィギュレーション情報を更新すること、補助コンテンツを表示することのような、実現されるべき幾つかのアクションを含む。コンフィギュレーション情報は、補助コンテンツの位置、姿勢、スケール及び他の設定可能なパラメータとすることができる。コンフィギュレーション情報は、必要に応じて、メインの３Ｄコンテンツに基づいて、コンフィギュレーションアップデータ１０８により更新することができる。
【００１９】
メインの３Ｄコンテンツの再生の間、イベントトリガは、イベントエンジン１０７により規則的に解釈及びチェックされる。異なるトリガのタイプは、異なるチェックメカニズム及びチェックの頻度を必要とする。例えば、深さのトリガ（位置Zのタイプ）をチェックするため、メインの３Ｄコンテンツから所与の領域の深さ情報を抽出し、トリガが発せられるべきかを判定するため、トリガ条件と比較する。メインの３Ｄコンテンツが２Ｄビデオと深さマップである場合、深さ情報は、深さマップからダイレクトにフェッチすることができる。メインの３Ｄコンテンツが、例えばサイドバイサイド又はトップアンドボトムといったフレーム対応のフォーマットである場合、深さ情報は、エッジ検出、特徴点相関等のような画像処理アルゴリズムを使用して計算することができる。時間に関連するイベントトリガについて、チェック周波数は、イベントトリガにおける予め定義されたリアルタイムのレベルに依存して、それぞれのビデオフレームから数時間又は数日までの範囲とすることができる。任意のイベントトリガがその発生条件に一致すると、すなわち、トリガ条件がメインの３Ｄコンテンツで生じると、イベントエンジン１０７は、関連する補助のコンテンツについてローカルバッファをサーチし、補助コンテンツデコーダ１０４に送出する。次いで、デコードされた補助コンテンツは、ディスプレイ１０２で表示される。補助コンテンツ及びメインの３Ｄコンテンツは、同じディスプレイ又は個別のディスプレイで表示される。
【００２０】
ひとたびイベントトリガが発生されると、イベントエンジン１０７は、コンフィギュレーションアップデータ１０８に通知する。次いで、補助コンテンツのコンフィギュレーションは、メインの３Ｄコンテンツの変化と共に、コンフィギュレーションアップデータ１０８により更新される。補助コンテンツのコンフィギュレーションは、それらのライフサイクルの間、クライアント装置１００のイベントトリガリストモジュール１０６に記憶される。アップデータ１０８は、イベントトリガから応答イベントにより行われる変化を反映するように、図５におけるオブジェクトＡの位置情報を更新するような、関連する補助コンテンツのコンフィギュレーションデータを変更する。
【００２１】
図４は、本発明の実施の形態に係る、３Ｄ補助コンテンツのトリガの例を示す図である。図４は、３Ｄに関連したトリガに基づいて、３Ｄディスプレイ１０２で表示されるイベントトリガの３つの例を示す。例えば、（３Ｄビデオからの３Ｄオブジェクト／領域／パターン、或いは３Ｄ動画からの３Ｄグラフィックモデルの何れかとすることができる）メインの３ＤコンテンツのオリジナルオブジェクトＡが図４（ａ）、図４（ｂ）及び図４（ｃ）における新たなオブジェクトＡ’に移動／回転／ズームするとき、イベントトリガリストに記憶された予め定義されたイベントトリガがトリガされる。
【００２２】
本発明の実施の形態によれば、メインの３Ｄコンテンツは、３Ｄのワールドカップサッカーの試合のライブ放送とすることができる。３Ｄに関連するイベントトリガは、ボールが所与の３Ｄ領域（ゴール）にわたり移動する条件により定義される。予め定義された３Ｄプレゼンテーションのコンフィギュレーションと共に、掲示板及び全ての選手の情報からなる補助コンテンツは、イベントトリガと関連される。
【００２３】
ユーザ端末１０１のイベントエンジン１０７は、ボールを認識及び追跡することで３Ｄライブビデオを分析する。これは、コンピュータビジョン技術におけるパターン認識及び動き追跡アルゴリズムを使用して行われる。例えば、イベントトリガの条件は、ビデオフレーム抽出、イメージセグメンテーション、エッジ抽出、特徴抽出、パターン認識、動き追跡、テンプレートマッチング等の組み合わせのような、現在の画像処理技術によりリアルタイムでチェックされ、ボールがゴールのエッジを横断したかが最終的に判定される。
次いで、ユーザ端末１０１のイベントエンジン１０７は、関連する補助コンテンツ、すなわち掲示板及び全ての選手の３Ｄ情報を発見するため、ローカルバッファをサーチする。
【００２４】
次いで、補助コンテンツが更新され、すなわち掲示板のスコアが更新され、メインの３Ｄコンテンツの変化と共に、予め定義された３Ｄコンフィギュレーション及びコンフィギュレーションアップデートに従って、３Ｄディスプレイ１０２で提示される。また、イベントエンジン１０７は、特定のシュータの３Ｄ情報を発見し、それを同様に提示する。
【００２５】
図５は、本発明の実施の形態に係る３Ｄ補助コンテンツの例を示す図である。図５は、複数のメインの３Ｄコンテンツの間に関心のあるオブジェクトに従って補助コンテンツの適応的な深さの値を示す。
【００２６】
補助コンテンツの位置、姿勢、スケール及び他の設定可能なパラメータによる最初のコンフィギュレーションは、コンフィギュレーションアップデータ１０８によりイベントトリガリストにおける関連する補助コンテンツのイベントトリガからフェッチされる。ひとたびイベントトリガが発せられると、イベントエンジン１０７は、コンフィギュレーションアップデータ１０８に通知する。次いで、補助コンテンツのコンフィギュレーションは、全体の提示に関する一貫した感覚をユーザに提供するため、メイン３Ｄコンテンツの変化に従ってコンフィギュレーションアップデータ１０８により更新される。例えばビデオのサブタイトルといった、テキスト情報のバーのような情報バーの深さの値は、メインの３Ｄビデオにおけるユーザが焦点を当てたオブジェクトの深さの値が著しく変化するとき、動的に調節される。これにより、ユーザは、メインのオブジェクト及び情報バーから彼の眼球を頻繁に移動させる必要がない。図５には、３Ｄコンテンツにおける関心のあるオブジェクトがスクリーンが抜け出すときに、補助コンテンツ（すなわちボックスＡ）がメインの３Ｄコンテンツにおける関心のあるオブジェクト（すなわちヘリコプター）に張り付いている例が示されている。ボックスＡの３Ｄコンフィギュレションは、全体のプロセスの間に更新される。補助コンテンツのタイムラインに沿った３Ｄコンフィギュレーション情報は、予め定義されているか、又はコンピュータビジョン技術におけるパターン認識及び動き追跡アルゴリズムを使用して、メインの３Ｄコンテンツから自動的に生成され、図５におけるボックスＡの位置は、予め定義されるか、又は固定されたオブセットをもつヘリコプターの位置を使用して自動的に生成される。ヘリコプターの位置は、ゴールのシュートの例を検出するために使用された技術に類似した画像処理技術を使用して検出される。
【００２７】
補助コンテンツが期限切れとなったとき、その再生が停止され、ローカルバッファから取り除かれる。    勿論、ユーザは、どんな時にも、メインの３Ｄコンテンツ又は補助コンテンツの再生を停止することもできる。
【００２８】
実施の形態の方法によれば、異なる３Ｄに関連するトリガタイプをもつコンテンツに関連するイベントが提供され、メインの３Ｄコンテンツに基づいて更新されたコンフィギュレーションをもつ３Ｄコンテンツに関連する情報サービスの３Ｄ補助コンテンツは、３Ｄディスプレイシステムに提示され、刺激的であるがなお心地良い体験がユーザに提供される。
【００２９】
従来のコンテンツに関連する情報サービスは、タイムラインに沿ってメインコンテンツと補助コンテンツをどのように提示するかのみを定義していたが、３Ｄ空間では、メディア時間、３Ｄ位置、姿勢、又はグラフィックオブジェクトのスケール、ユーザ選択等のような補助コンテンツを提示するイベントをトリガするため、より多くの基準が考慮されるべきである。予め定義されたイベントトリガが発せられたとき、関連する補助コンテンツを提示することを含む、関連するイベントのハンドリングプロセスが開始される。
【００３０】
さらに、従来の２Ｄ対話型のメディアサービスでは、補助コンテンツは、スクリーン上の予め定義された位置に従って提示されるが、３Ｄ空間では、３Ｄディスプレイシステムで３Ｄ対話型メディアサービスにおいて全体の提示に関して一貫した感覚をユーザに提供するため、位置だけでなく奥行きもまた重要である。メインの３Ｄビデオにおけるそれぞれのフレームの深さの分布は著しく変化するので、３Ｄ補助コンテンツの深さの値は、メインの３Ｄコンテンツの深さマップに適合される必要がある。
【００３１】
３Ｄ対話型のメディアサービスでは、異なるメディアコンテンツの深さ情報は、３Ｄディスプレイシステムでの全体の提示に関して一貫した感覚をユーザに与えるために良好に定義される必要があり、より多くの３Ｄアプリケーションをサポートするため、タイムラインの同期からコンテンツの関係が拡張される必要がある。従って、本発明は、コンテンツに関連するイベントをどのようにトリガして、３Ｄディスプレイシステムにおいて、３Ｄ対話型メディアサービスの３Ｄ補助コンテンツをどのように提示するかに関する問題を解決することを狙いとする。
【００３２】
図６は、本発明の実施の形態に係る、補助コンテンツを提供する方法を示すフローチャートである。ステップ５０１で、マルチメディアコンテンツは、３Ｄマルチメディア装置１００のユーザ端末１０１により受信される。次いで、ステップ５０２で、ｄｅｍｕｘ１０５は、受信されたマルチメディアコンテンツから、メインの３Ｄコンテンツ、補助コンテンツ及びイベントトリガを抽出する。ステップ５０３で、メインの３Ｄコンテンツは、デコードされ、３Ｄディスプレイ１０２で表示される。ステップ５０４で、イベントエンジン１０７は、メインの３Ｄコンテンツの３Ｄの関連するイベントに従って３Ｄの関連するイベントトリガをチェックし、補助コンテンツデコーダ１０４によりデコードされる関連する補助コンテンツをトリガする。次いで、ステップ５０５で、デコードされた補助コンテンツは、メインの３Ｄコンテンツと共に同じ３Ｄディスプレイで表示されるか、又は別のディスプレイで表示される。ステップ５０６で、補助コンテンツの３Ｄコンフィギュレーションは、メインの３Ｄコンテンツと共に更新される。
【００３３】
上述した内容は、本発明の実施の形態を例示するものであって、当業者であれば、本明細書で明示的に記載されていないが、本発明の原理を実施し、本発明の精神及び範囲内にある様々な代替的なアレンジメントを創作することができることを理解されるであろう。
【図１】
2013535889.tif 000003
【図２】
2013535889.tif 000004
【図３】
2013535889.tif 000005
【図４（ａ）】
2013535889.tif 000006
【図４（ｂ）】
2013535889.tif 000007
【図４（ｃ）】
2013535889.tif 000008
【図５】
2013535889.tif 000009
【図６】
2013535889.tif 000010
【手続補正書】
【提出日】平成25年1月22日(2013.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元（３Ｄ）マルチメディア装置で使用されるメインの３次元コンテンツ及び補助のコンテンツを提供する方法であって、
前記メインの３Ｄコンテンツを表示する段階と、
前記メインの３Ｄコンテンツの３Ｄに関連するイベントにより前記補助のコンテンツをトリガする段階とを含み、
前記補助のコンテンツの深さの値は、前記メインの３Ｄコンテンツの深さの値の変化に従って更新される、方法。
【請求項２】
前記３Ｄに関連するイベントは、予め決定されたトリガ条件が前記メインの３Ｄコンテンツで生じたときに前記補助のコンテンツをトリガするため、前記予め決定されたトリガ条件と比較される、
請求項１記載の方法。
【請求項３】
前記メインの３Ｄコンテンツの前記３Ｄに関連するイベントは、前記メインの３Ｄコンテンツの深さの値、前記メインの３Ｄコンテンツのオブジェクト又は領域の３Ｄ位置、３Ｄ姿勢及び３Ｄスケールを含むグループの一部である、
請求項１又は２記載の方法。
【請求項４】
前記メインの３Ｄコンテンツと共に前記補助のコンテンツを表示するか、又は前記メインの３Ｄコンテンツとは別に前記補助のコンテンツを表示する段階を更に含む、
請求項１乃至３の何れか記載の方法。
【請求項５】
前記補助のコンテンツは、グラフィックス、テキスト、オーディオ及び／又はビデオを含むマルチメディアデータ、及び３Ｄ画像の集合である、
請求項１乃至４の何れか記載の方法。
【請求項６】
前記メインの３Ｄコンテンツは、ユーザにとって関心のあるオブジェクトを含み、
前記補助のコンテンツの前記深さの値は、前記補助のコンテンツを前記メインの３Ｄコンテンツにおける前記オブジェクトに一体となって表示させるために更新される、
請求項１記載の方法。
【請求項７】
メインの３次元（３Ｄ）コンテンツと補助のコンテンツを提供する３Ｄマルチメディア装置であって、
前記メインの３Ｄコンテンツを表示する３Ｄディスプレイと、
前記メインの３Ｄコンテンツの３Ｄに関連するイベントにより前記補助のコンテンツの表示をトリガするユーザ端末と、
前記補助のコンテンツの深さの値を、前記メインの３Ｄコンテンツの深さの値の変化に従って更新する更新手段と、
を備える３Ｄマルチメディア装置。
【請求項８】
前記メインの３Ｄコンテンツの深さの値、前記メインの３Ｄコンテンツのオブジェクト又は領域の３Ｄ位置、３Ｄ姿勢及び３Ｄスケールを含む３Ｄに関連するイベントトリガを記憶するイベントトリガリストモジュールを更に含む、
請求項７記載の３Ｄマルチメディア装置。
【請求項９】
前記イベントトリガをチェックし、前記３Ｄに関連するイベントを予め決定されたトリガ条件に比較し、前記予め決定されたトリガ条件が前記メインの３Ｄコンテンツで生じたときに、表示すべき関連する補助のコンテンツをサーチするイベントエンジンを更に備える、
請求項７又は８記載の３Ｄマルチメディア装置。
【請求項１０】
前記メインの３Ｄコンテンツは、ユーザにとって関心のあるオブジェクトを含み、
前記更新手段は、前記補助のコンテンツの前記深さの値を、前記補助のコンテンツを前記メインの３Ｄコンテンツにおける前記オブジェクトと一体となって表示させるために更新する、
請求項７記載の３Ｄマルチメディア装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
【課題を解決するための手段】
本発明は、３Ｄマルチメディア装置で使用されるメインの３次元コンテンツ及び補助のコンテンツを提供する方法に関する。本方法は、メインの３Ｄコンテンツを表示する段階、及びメインの３Ｄコンテンツの３Ｄに関連するイベントにより補助のコンテンツをトリガする段階を含み、補助のコンテンツの深さの値は、メインの３Ｄコンテンツの深さの値の変化に従って更新される。
また、本発明は、メインの３Ｄコンテンツと補助のコンテンツを提供する３Ｄマルチメディア装置に関する。本装置は、メインの３Ｄコンテンツを表示する３Ｄディスプレイ、メインの３Ｄコンテンツの３Ｄに関連するイベントにより補助のコンテンツの表示をトリガするユーザ端末、及び補助のコンテンツの深さの値を、メインの３Ｄコンテンツの深さの値の変化に従って更新する更新手段を備える。
【国際調査報告】
2013535889.tif 000011
2013535889.tif 000012
2013535889.tif 000013