"3次元3Dマルチメディア装置で使用されるメインの3次元コンテンツ及び補助のコンテンツを提供する方法であって、前記メインの3Dコンテンツを表示する段階と、前記メインの3Dコンテンツの3Dに関連するイベントにより前記補助のコンテンツをトリガする段階と、を含む方法。前記3Dに関連するイベントは、予め決定されたトリガ条件が前記メインの3Dコンテンツで生じたときに前記補助のコンテンツをトリガするため、前記予め決定されたトリガ条件と比較される、請求項1記載の方法。前記メインの3Dコンテンツの前記3Dに関連するイベントは、前記メインの3Dコンテンツの深さの値、前記メインの3Dコンテンツのオブジェクト又は領域の3D位置、3D姿勢及び3Dスケールを含むグループの一部である、請求項1又は2記載の方法。前記メインの3Dコンテンツと共に前記補助のコンテンツを表示するか、又は前記メインの3Dコンテンツとは個別に前記補助のコンテンツを表示する段階を更に含む、請求項1乃至3の何れか記載の方法。前記補助のコンテンツは、グラフィックス、テキスト、オーディオ及び/又はビデオを含むマルチメディアデータ、及び3D画像の集合である、請求項1乃至4の何れか記載の方法。前記メインの3Dコンテンツの再生の間に、コンフィギュレーションの変化と共に前記補助のコンテンツを更新する段階を更に含む、請求項1乃至5の何れか記載の方法。前記補助のコンテンツの前記深さの値は、前記メインの3Dコンテンツの深さの値の変化と共に更新される、請求項6記載の方法。メインの3次元3Dコンテンツと補助のコンテンツを提供する3Dマルチメディア装置であって、前記メインの3Dコンテンツを表示する3Dディスプレイと、前記メインの3Dコンテンツの3Dに関連するイベントにより前記補助のコンテンツの表示をトリガするユーザ端末と、を備える3Dマルチメディア装置。前記メインの3Dコンテンツの深さの値、前記メインの3Dコンテンツのオブジェクト又は領域の3D位置、3D姿勢及び3Dスケールを含む3Dに関連するイベントトリガを記憶するイベントトリガリストモジュールを更に含む、請求項8記載の3Dマルチメディア装置。前記イベントトリガをチェックし、前記3Dに関連するイベントを予め決定されたトリガ条件に比較し、前記予め決定されたトリガ条件が前記メインの3Dコンテンツで生じたときに、表示すべき関連する補助のコンテンツをサーチするイベントエンジンを更に備える、請求項1乃至9の何れか記載の3Dマルチメディア装置。メインの3次元3Dコンテンツと補助のコンテンツを含むマルチメディアコンテンツを供給する方法であって、再生すべきメインの3Dコンテンツを提供する段階と、前記メインの3Dコンテンツの3Dの関連するイベントによりトリガされ、前記メインの3Dコンテンツと共に再生されるか、又は前記メインの3Dコンテンツとは別に再生される補助のコンテンツを生成する段階と、を含む方法。イベントトリガが前記メインの3Dコンテンツの前記3Dの関連するイベントを前記補助のコンテンツに関連付けする段階を更に含む、請求項11記載の方法。3Dコンテンツに関連した情報サービスでは、メインコンテンツと補助コンテンツとを含む3D対話型メディア送信及び表示が期待される場合がある。従って、3D通信システムにおいて補助コンテンツのトリガ及び表示を有することが重要である。本発明は、3Dマルチメディア装置で使用されるメインの3Dコンテンツ及び補助のコンテンツとを提供する方法に関し、メインの3Dコンテンツを表示する段階、メインの3Dコンテンツの3Dに関連するイベントにより補助のコンテンツをトリガする段階を含む。また、本発明は、メインの3Dコンテンツ及び補助のコンテンツを供給する3Dマルチメディア装置に関し、メインの3Dコンテンツを表示する3Dディスプレイ、及びメインの3Dコンテンツの3Dに関連したイベントにより補助のコンテンツの表示をトリガするユーザ端末を備える。さらに、本発明は、メインの3Dコンテンツ及び補助コンテンツを含むマルチメディアコンテンツを供給する方法に関し、再生されるメインの3Dコンテンツを供給する段階、及び、メインの3Dコンテンツの3Dに関連するイベントによりトリガされ、メインの3Dコンテンツと共に再生されるか、又はメインの3Dコンテンツとは別に再生される補助のコンテンツを生成する段階を含む。以下の詳細な説明では、メインの3Dコンテンツ及び補助コンテンツを供給するシステム及び方法は、本発明の完全な理解を提供するために述べられる。しかし、本発明は、本発明のこれらの特定の詳細なしに実施されるか、又は本発明の等価な概念により実施される場合があることを当業者により認識されるであろう。他の例では、公知の方法、手順、コンポーネント及び回路は、本発明の態様を不必要に曖昧にしないように詳細に記載されていない。図2は、本発明の実施の形態に係る3Dマルチメディア装置100を示すブロック図である。図2に示されるように、3Dマルチメディア装置100は、ユーザ端末101及び少なくとも1つの3Dディスプレイ102を含む。ユーザ端末101及び3Dディスプレイ102は、単一の装置に結合することができ、或いは、セットトップボックスSTB、DVD/BDプレーヤ又はレシーバ、及びディスプレイのような個別の装置とすることができる。ユーザ端末101は、3D対話型メディアデマルチプレクサdemux105、メインの3Dコンテンツデコーダ103、補助コンテンツデコーダ104、イベントエンジン107、イベントトリガリストモジュール106、及びコンフィギュレーションアップデータ108を含む。3D対話型メディアコンテンツが作成され、ヘッドエンド装置図示せずから送信され、メインコンテンツ及び補助コンテンツを含むマルチメディアコンテンツを端末が受信したとき、端末101の処理が開始する。ここで、ヘッドエンド装置は、サーバ装置とも呼ぶことができる、多重化、リタイミングretiming、送信等の機能を提供する装置である。また、マルチメディアコンテンツは、クライアント装置100により再生されるディスク図示せずのような取り外し可能な記憶媒体に記憶することができ、又は、クライアント装置のメモリに記憶することができる。本発明の実施の形態によれば、メインの3Dコンテンツ及び補助コンテンツを含むマルチメディアコンテンツは、クライアント装置100に供給される。メインの3Dコンテンツは、ディスプレイで表示され、補助のコンテンツは、メインの3Dコンテンツの3Dに関連するイベントによりトリガされ、ディスプレイ102でメインの3Dコンテンツと共に再生される。ここで、補助コンテンツは、3Dコンテンツに制限されず、補助コンテンツは2Dコンテンツであるか、又は更には、オーディオ情報とすることができる。さらに、マルチメディアコンテンツは、メインの3Dコンテンツ及び補助コンテンツを互いに関連付けする3Dに関連したイベントトリガを含むイベントトリガを更に含む。3Dイベントトリガは、所定の値を超えるメインの3Dコンテンツにおける所与の領域又はオブジェクトの深さ、又は閾値よりも小さいか又は大きいメインの3Dコンテンツにおける所与のオブジェクトのサイズのような、メインの3Dコンテンツの記述ファイルにおける条件式である。メインの3Dコンテンツ及び補助のコンテンツは、関連するトリガを含む記述ファイルにおける条件式により関連付けされる。3D対話型メディアdemux105は、ネットワークを通して又は記憶媒体から、受信したマルチメディアコンテンツを分析し、メインの3Dコンテンツ、補助のコンテンツを抽出し、イベントトリガは、これらを互いに関連付けする。メインの3Dコンテンツは、3Dライブのブロードキャストビデオ又は3Dアニメーションであり、補助のコンテンツは、3Dビデオクリップ、3Dグラフィックモデル、3Dユーザインタフェース、3Dアプレット又はウィジェットを含み、イベントトリガは、時間、3Dオブジェクトの位置、3Dオブジェクトの姿勢、3Dオブジェクトのスケール、オブジェクトのカバーリング関係、ユーザ選択、及びシステムイベントの組み合わせである。メインの3Dコンテンツデコーダ103によりデコードされた後、メインの3Dコンテンツは、3Dディスプレイ102で再生される。補助のコンテンツは、所与の有効期間によりローカルバッファに記憶されて、レンダリングされる準備がされ、記述ファイルにおけるイベントトリガは、トリガ条件によりソートされるイベントトリガリストモジュール106に入る。トリガの条件は、メインの3Dコンテンツのタイムラインの特定の時間点であるか、又は3Dに関連するトリガのタイムラインの特定の時間点とすることができる。上述されたように、3Dに関連するトリガは、メインの3Dコンテンツの3Dの深さ、3Dの位置、3Dの姿勢及び3Dのスケールの特定の値又は範囲、オブジェクトのカバーリング関係等とすることができる。図3は、本発明の実施の形態に係るイベントトリガリストを示すブロック図である。EventTrigger1,...,EventTriggernは、イベントトリガリストのエレメントである。それぞれのイベントトリガは、上述されたトリガ条件、及び応答イベントを含む。応答イベントは、補助コンテンツの記憶されているオリジナルのコンフィギュレーション情報を更新すること、補助コンテンツを表示することのような、実現されるべき幾つかのアクションを含む。コンフィギュレーション情報は、補助コンテンツの位置、姿勢、スケール及び他の設定可能なパラメータとすることができる。コンフィギュレーション情報は、必要に応じて、メインの3Dコンテンツに基づいて、コンフィギュレーションアップデータ108により更新することができる。メインの3Dコンテンツの再生の間、イベントトリガは、イベントエンジン107により規則的に解釈及びチェックされる。異なるトリガのタイプは、異なるチェックメカニズム及びチェックの頻度を必要とする。例えば、深さのトリガ位置Zのタイプをチェックするため、メインの3Dコンテンツから所与の領域の深さ情報を抽出し、トリガが発せられるべきかを判定するため、トリガ条件と比較する。メインの3Dコンテンツが2Dビデオと深さマップである場合、深さ情報は、深さマップからダイレクトにフェッチすることができる。メインの3Dコンテンツが、例えばサイドバイサイド又はトップアンドボトムといったフレーム対応のフォーマットである場合、深さ情報は、エッジ検出、特徴点相関等のような画像処理アルゴリズムを使用して計算することができる。時間に関連するイベントトリガについて、チェック周波数は、イベントトリガにおける予め定義されたリアルタイムのレベルに依存して、それぞれのビデオフレームから数時間又は数日までの範囲とすることができる。任意のイベントトリガがその発生条件に一致すると、すなわち、トリガ条件がメインの3Dコンテンツで生じると、イベントエンジン107は、関連する補助のコンテンツについてローカルバッファをサーチし、補助コンテンツデコーダ104に送出する。次いで、デコードされた補助コンテンツは、ディスプレイ102で表示される。補助コンテンツ及びメインの3Dコンテンツは、同じディスプレイ又は個別のディスプレイで表示される。ひとたびイベントトリガが発生されると、イベントエンジン107は、コンフィギュレーションアップデータ108に通知する。次いで、補助コンテンツのコンフィギュレーションは、メインの3Dコンテンツの変化と共に、コンフィギュレーションアップデータ108により更新される。補助コンテンツのコンフィギュレーションは、それらのライフサイクルの間、クライアント装置100のイベントトリガリストモジュール106に記憶される。アップデータ108は、イベントトリガから応答イベントにより行われる変化を反映するように、図5におけるオブジェクトAの位置情報を更新するような、関連する補助コンテンツのコンフィギュレーションデータを変更する。図4は、本発明の実施の形態に係る、3D補助コンテンツのトリガの例を示す図である。図4は、3Dに関連したトリガに基づいて、3Dディスプレイ102で表示されるイベントトリガの3つの例を示す。例えば、3Dビデオからの3Dオブジェクト/領域/パターン、或いは3D動画からの3Dグラフィックモデルの何れかとすることができるメインの3DコンテンツのオリジナルオブジェクトAが図4a、図4b及び図4cにおける新たなオブジェクトA’に移動/回転/ズームするとき、イベントトリガリストに記憶された予め定義されたイベントトリガがトリガされる。本発明の実施の形態によれば、メインの3Dコンテンツは、3Dのワールドカップサッカーの試合のライブ放送とすることができる。3Dに関連するイベントトリガは、ボールが所与の3D領域ゴールにわたり移動する条件により定義される。予め定義された3Dプレゼンテーションのコンフィギュレーションと共に、掲示板及び全ての選手の情報からなる補助コンテンツは、イベントトリガと関連される。ユーザ端末101のイベントエンジン107は、ボールを認識及び追跡することで3Dライブビデオを分析する。これは、コンピュータビジョン技術におけるパターン認識及び動き追跡アルゴリズムを使用して行われる。例えば、イベントトリガの条件は、ビデオフレーム抽出、イメージセグメンテーション、エッジ抽出、特徴抽出、パターン認識、動き追跡、テンプレートマッチング等の組み合わせのような、現在の画像処理技術によりリアルタイムでチェックされ、ボールがゴールのエッジを横断したかが最終的に判定される。次いで、ユーザ端末101のイベントエンジン107は、関連する補助コンテンツ、すなわち掲示板及び全ての選手の3D情報を発見するため、ローカルバッファをサーチする。次いで、補助コンテンツが更新され、すなわち掲示板のスコアが更新され、メインの3Dコンテンツの変化と共に、予め定義された3Dコンフィギュレーション及びコンフィギュレーションアップデートに従って、3Dディスプレイ102で提示される。また、イベントエンジン107は、特定のシュータの3D情報を発見し、それを同様に提示する。図5は、本発明の実施の形態に係る3D補助コンテンツの例を示す図である。図5は、複数のメインの3Dコンテンツの間に関心のあるオブジェクトに従って補助コンテンツの適応的な深さの値を示す。補助コンテンツの位置、姿勢、スケール及び他の設定可能なパラメータによる最初のコンフィギュレーションは、コンフィギュレーションアップデータ108によりイベントトリガリストにおける関連する補助コンテンツのイベントトリガからフェッチされる。ひとたびイベントトリガが発せられると、イベントエンジン107は、コンフィギュレーションアップデータ108に通知する。次いで、補助コンテンツのコンフィギュレーションは、全体の提示に関する一貫した感覚をユーザに提供するため、メイン3Dコンテンツの変化に従ってコンフィギュレーションアップデータ108により更新される。例えばビデオのサブタイトルといった、テキスト情報のバーのような情報バーの深さの値は、メインの3Dビデオにおけるユーザが焦点を当てたオブジェクトの深さの値が著しく変化するとき、動的に調節される。これにより、ユーザは、メインのオブジェクト及び情報バーから彼の眼球を頻繁に移動させる必要がない。図5には、3Dコンテンツにおける関心のあるオブジェクトがスクリーンが抜け出すときに、補助コンテンツすなわちボックスAがメインの3Dコンテンツにおける関心のあるオブジェクトすなわちヘリコプターに張り付いている例が示されている。ボックスAの3Dコンフィギュレションは、全体のプロセスの間に更新される。補助コンテンツのタイムラインに沿った3Dコンフィギュレーション情報は、予め定義されているか、又はコンピュータビジョン技術におけるパターン認識及び動き追跡アルゴリズムを使用して、メインの3Dコンテンツから自動的に生成され、図5におけるボックスAの位置は、予め定義されるか、又は固定されたオブセットをもつヘリコプターの位置を使用して自動的に生成される。ヘリコプターの位置は、ゴールのシュートの例を検出するために使用された技術に類似した画像処理技術を使用して検出される。補助コンテンツが期限切れとなったとき、その再生が停止され、ローカルバッファから取り除かれる。勿論、ユーザは、どんな時にも、メインの3Dコンテンツ又は補助コンテンツの再生を停止することもできる。実施の形態の方法によれば、異なる3Dに関連するトリガタイプをもつコンテンツに関連するイベントが提供され、メインの3Dコンテンツに基づいて更新されたコンフィギュレーションをもつ3Dコンテンツに関連する情報サービスの3D補助コンテンツは、3Dディスプレイシステムに提示され、刺激的であるがなお心地良い体験がユーザに提供される。従来のコンテンツに関連する情報サービスは、タイムラインに沿ってメインコンテンツと補助コンテンツをどのように提示するかのみを定義していたが、3D空間では、メディア時間、3D位置、姿勢、又はグラフィックオブジェクトのスケール、ユーザ選択等のような補助コンテンツを提示するイベントをトリガするため、より多くの基準が考慮されるべきである。予め定義されたイベントトリガが発せられたとき、関連する補助コンテンツを提示することを含む、関連するイベントのハンドリングプロセスが開始される。さらに、従来の2D対話型のメディアサービスでは、補助コンテンツは、スクリーン上の予め定義された位置に従って提示されるが、3D空間では、3Dディスプレイシステムで3D対話型メディアサービスにおいて全体の提示に関して一貫した感覚をユーザに提供するため、位置だけでなく奥行きもまた重要である。メインの3Dビデオにおけるそれぞれのフレームの深さの分布は著しく変化するので、3D補助コンテンツの深さの値は、メインの3Dコンテンツの深さマップに適合される必要がある。3D対話型のメディアサービスでは、異なるメディアコンテンツの深さ情報は、3Dディスプレイシステムでの全体の提示に関して一貫した感覚をユーザに与えるために良好に定義される必要があり、より多くの3Dアプリケーションをサポートするため、タイムラインの同期からコンテンツの関係が拡張される必要がある。従って、本発明は、コンテンツに関連するイベントをどのようにトリガして、3Dディスプレイシステムにおいて、3D対話型メディアサービスの3D補助コンテンツをどのように提示するかに関する問題を解決することを狙いとする。図6は、本発明の実施の形態に係る、補助コンテンツを提供する方法を示すフローチャートである。ステップ501で、マルチメディアコンテンツは、3Dマルチメディア装置100のユーザ端末101により受信される。次いで、ステップ502で、demux105は、受信されたマルチメディアコンテンツから、メインの3Dコンテンツ、補助コンテンツ及びイベントトリガを抽出する。ステップ503で、メインの3Dコンテンツは、デコードされ、3Dディスプレイ102で表示される。ステップ504で、イベントエンジン107は、メインの3Dコンテンツの3Dの関連するイベントに従って3Dの関連するイベントトリガをチェックし、補助コンテンツデコーダ104によりデコードされる関連する補助コンテンツをトリガする。次いで、ステップ505で、デコードされた補助コンテンツは、メインの3Dコンテンツと共に同じ3Dディスプレイで表示されるか、又は別のディスプレイで表示される。ステップ506で、補助コンテンツの3Dコンフィギュレーションは、メインの3Dコンテンツと共に更新される。上述した内容は、本発明の実施の形態を例示するものであって、当業者であれば、本明細書で明示的に記載されていないが、本発明の原理を実施し、本発明の精神及び範囲内にある様々な代替的なアレンジメントを創作することができることを理解されるであろう。"