(57)【要約】  本発明は、相互的な測光効果を発生させるための装置に関する。本発明はまた相互的な測光効果を発生させるための測光パラメータを供給するサーバに関する。さらに本発明は、そのような装置及びサーバを包含するシステムに関する。本発明によれば前記の装置（１）は、前記の視覚データセット及びそれぞれがこの視覚データセットと関連づけられた測光パラメータを受信して多重解除する手段と、これらの測光パラメータに関して発生される前記の相互的な測光効果を規定する手段と、前記視覚データセットを共通の支援空間に配置し、前記測光パラメータに関して規定された前記効果を、少なくとも１つの視覚データセットが前記共通の支援空間において少なくとも１つの別の視覚データセットに影響を及ぼすように、前記視覚データセットの内の少なくとも１つの視覚データセットから前記視覚データセットの内の少なくとも１つの別のデータセットに適用する、合成及び描画手段とを包含する。
2005509932.tif 000002
【特許請求の範囲】
【請求項１】
共通の支援空間に視覚データセットを配置する手段を包含する、複数の視覚データセット間の相互的な測光効果を発生させる装置（１）において、
該装置（１）は、
−前記視覚データセット及びそれぞれが該データセットと関連づけられた測光パラメータを受信して、多重解除する手段（５、１１、１２、１３、１４）と、
−該測光パラメータに関して発生される前記相互的な測光効果を規定する手段（１６）と、
−前記視覚データセットを前記共通の支援空間に配置し、前記測光パラメータに関して規定された前記効果を、少なくとも１つのデータセットが前記共通の支援空間において他の視覚データセットに影響を及ぼすように、前記視覚データセットの内の少なくとも１つの視覚データセットから前記視覚データセットの内の少なくとも１つの別の視覚データセットに適用する合成及び描画手段（４）と、
を包含する事を特徴とする、相互的な測光効果を発生させる装置（１）。
【請求項２】
前記測光パラメータの効果を規定する前記手段（１６）は、該測光パラメータの記憶、数字精度、該測光パラメータの空間分解能及び／又は視覚データセットを伴う該測光パラメータの描画を管理する、請求項１記載の装置（１）。
【請求項３】
前記測光パラメータは照明特性及び反射特性であり、該照明特性は有利には光の空間強度分布、光源の位置、光源の形状及び色の間で選択されており、該反射特性は有利には表面の色、鏡面の色、反射幾何学及び偏光の間で選択されている、請求項１または２記載の装置（１）。
【請求項４】
前記測光パラメータによって表される効果を適用させる前記合成及び描画手段は、有利にはシェージング、キャストシャドウ、自己シャドウイング（self shadowing）、鏡面反射、相互反射または色効果を発生させる、請求項１から３までのいずれか１項記載の装置（１）。
【請求項５】
前記視覚データセットは静的なデータ、動的なデータ、圧縮されたデータ、生データ、パノラマデータ、三次元データ及び／又は画像データである、請求項１から４までのいずれか１項記載の装置（１）。
【請求項６】
視覚データセットに関するそれぞれの測光パラメータと関連づけられた該視覚データセットを包含するマルチメディアデータを供給するサーバ（Ａｊ）において、
該サーバは、
−前記視覚データセットに関する測光パラメータの記憶及び条件付けを管理する手段（１８）と、
−前記マルチメディアデータを前記関連づけられた測光パラメータと束ねて伝送リンク（Ｃｊ）を介して伝送する手段（８）とを備え、前記マルチメディアデータは前記視覚データセットの内の少なくとも１つの視覚データセットを前記視覚データセットの別の視覚データセットと共に共通の支援空間に表示する手段を包含する、
ことを特徴とする、サーバ（Ａｊ）。
【請求項７】
測光パラメータの記憶及び条件付けを管理する前記手段（１８）は、サーバのタイプ、伝送リンク（Ｃｊ）のタイプ及び状態、該伝送リンク（Ｃｊ）を介して前記サーバ（Ａｊ）と接続されている前記装置（１）のタイプ及び状態及び／又は該接続されている装置（１）を使用するユーザのプロフィールを考慮する、空間分解能、数字精度、符号化モード、前記測光パラメータのマルチメディアデータとの関連づけの種類を規定する、請求項６記載のサーバ（Ａｊ）。
【請求項８】
マルチメディアシステムにおいて、
該マルチメディアシステムは、
−視覚データセットに関する測光パラメータと関連づけられた、少なくとも２つの視覚データセットを包含するマルチメディアデータを供給する、請求項６または７記載の少なくとも１つのサーバ（Ａｊ）と、
−前記視覚データセット及び該視覚データセットのそれぞれの測光パラメータを束ねて、前記サーバから請求項１から５までのいずれか１項記載の少なくとも１つの装置へと伝送する手段（Ｃｊ）と、
−前記供給された視覚データセットの内の少なくとも１つの視覚データセットの前記供給された測光パラメータの前記効果を、前記視覚データセットが共通の支援空間において別の視覚データセットに影響を及ぼすように、前記供給された視覚データセットの内の少なくとも１つの別の視覚データセットに適用する相互的な測光効果を発生させる、請求項１から５までのいずれか１項記載の装置（１）と、
を包含することを特徴とする、マルチメディアシステム。
【請求項９】
前記視覚データセット及び該視覚データセットのそれぞれの測光パラメータを束ねて伝送する前記手段（Ｃｊ）は、ブロードキャスト手段、ユニキャスト手段、マルチキャスト手段、コネクション指向の手段、コネクションレスの手段及び／又はメディア分配手段である、請求項８記載のマルチメディアシステム。
【請求項１０】
視覚データセットを共通の支援空間に配置する、複数の視覚データセットの間の相互的な測光効果を発生させる方法において、
−視覚データセットに関する測光パラメータとそれぞれ関連づけられた、少なくとも２つの視覚データセットを包含するマルチメディアデータを供給し、
−前記視覚データセット及び該視覚データセットのそれぞれの測光パラメータを束ねて、少なくとも１つの管理手段に伝送し、
−前記測光パラメータ及び該測光パラメータに関連づけられた視覚データセットに関する前記相互的な測光効果を動的に規定し、
−前記測光パラメータによって規定された前記効果を、前記視覚データセットが別の視覚データセットに影響を及ぼすように、前記視覚データセットの内の少なくとも１つの視覚データセットから前記視覚データセットの内の少なくとも１つの別の視覚データセットに適用する、
ことを特徴とする、複数の視覚データセットの間の相互的な測光効果を発生させる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、共通の支援空間において複数の視覚データセット間の相互的な測光効果（photometric effect）を発生させる方法及び装置に関する。
【０００２】
特殊効果方法の適用は長い間産業における作業分野であった。例えば双方向テレビのようなアプリケーションまたはあらゆるマルチメディアアプリケーションでは、効率的なデータ操作の要求がますます高まっている。
【０００３】
本発明は殊に、表示のための異なるデータセットの併合（merging）及びこれらの異なるデータセットの相互作用に関する。すなわち、視覚データセット、視聴覚データセットまたは他のマルチ方式データセット間の相互作用を改善するために、異なるデータセットの幾つかのパラメータが他のデータセットを修正し、またこれらのパラメータ、照明及び反射の間で変更することが重要である。
【０００４】
現実的またはきれいな最終的な画像を得るために、異なる視覚データセット間の相互的な測光効果を考慮する必要がある。このことは、例えばビデオシーケンスの前に３Ｄオブジェクトをインポートする場合には殊に当てはまる。
【０００５】
シェージング、鏡面反射、キャストシャドウ（cast shadow）、相互照明のような、相互的な測光効果を視覚データに適用するための種々の方法が存在する。
【０００６】
映画の制作においては、測光特殊効果をオフラインで発生させるために専門的なツールが使用される。これらのツールは入力として、例えば光源または表面反射の特性のような視覚データの測光特性を必要とする。測光特殊効果を発生させる前に、映画制作の専門家は測光特性を視覚的に回復するか、測光特性が実際のシーンにおける映画制作の間に測定ツールを使用することにより測定される。
【０００７】
今日の研究所においては、測光特性をオフラインで計算コストが非常に高い自動的なアルゴリズムによって回復することができるか、または半自動的な手動の相互作用によって回復することができる。
【０００８】
測光特性のオフラインでの回復または相互作用的な回復は、測光特殊効果を発生させるための視覚データセットのリアルタイム処理を許容しない。
【０００９】
ＭＰＥＧ（MotionPicture Expert Group）−７の提案第９９番、「An illumination effect descriptor for video sequences」においてStauderは、コンテントを基礎とする視覚情報検索に関する画像信号変化によって照明特性を暗黙的に記述することを提案している。
【００１０】
本発明は、特殊効果を発生させる光源の見地から照明特性を表す、測光特殊効果を発生させるための視覚データセットのリアルタイム処理を可能にする。
【００１１】
第１の観点においては、共通の支援空間に視覚データセットを配置する手段を包含する、複数の視覚データセット間の相互的な測光効果を発生させるための装置が提案され、この装置は、
−前記の視覚データセット及びそれぞれがこのデータセットと関連づけられた測光パラメータを受信して、多重解除する手段と、
−これらの測光パラメータに関して発生される前記の相互的な測光効果を規定する手段と、
−前記の視覚データセットを前記の共通の支援空間に配置し、前記の測光パラメータに関して規定された前記の効果を、少なくとも１つのデータセットが前記の共通の支援空間において他の視覚データセットに影響を及ぼすように、前記の視覚データセットの内の少なくとも１つの視覚データセットから前記の視覚データセットの内の少なくとも１つの別の視覚データセットに適用する合成及び描画手段と、
を備える。
【００１２】
本発明は、表示される視覚データセットと共に伝送される測光パラメータを使用することにより相互的な測光効果を発生させることができるので、装置における視覚データセットから測光特性を抽出するために必要とされる複雑な装置または方法を使用することを回避できる。実際、典型的に相互的な測光効果を発生させることができる装置は低価格の装置であるか、値下げすることができる消費者製品である。したがって、装置からこの機能を分離させ、外部端末から受信する測光パラメータを処理する手段を提供することは殊に有利である。
【００１３】
測光パラメータに関して発生される効果を規定する手段は、マルチメディアデータと関連づけられたメタデータがどのように他のメタデータに影響を及ぼすかを規定する能力を有する。この影響を表す「描画方式」と呼ばれる幾つかの情報が生成される。このことは、これらのデータセットにおける測光効果が適用されている限り、視覚データセットを表示する合成及び描画手段が可能にする。
【００１４】
したがって本発明は、例えばＭＰＥＧ−４符号化されたデータ及びＭＰＥＧ−７符号化されたデータが供給されるシステムのような、メタデータが供給されるシステムにおいては殊に関心事である。
【００１５】
第２の観点によれば、本発明では、視覚データセットに関するそれぞれの測光パラメータと関連づけられたこれらの視覚データセットを包含するマルチメディアデータを供給するためのサーバ（Ａｊ）が提案され、このサーバは、
−前記の視覚データセットに関する測光パラメータの記憶及び条件付けを管理する手段と、
−前記のマルチメディアデータを前記の関連づけられた測光パラメータと束ねて伝送リンク（Ｃｊ）を介して伝送する手段とを備え、前記のマルチメディアデータは前記の視覚データセットの内の少なくとも１つの視覚データセットを前記の視覚データセットの別の視覚データセットと共に共通の支援空間に表示する手段を包含する。
【００１６】
サーバは、例えば本発明の第１の観点による装置でもって使用される測光パラメータを準備することができる。
【００１７】
しかしながらこのサーバを、入力パラメータとして測光パラメータを必要とする他の端末と共に使用することができる。
【００１８】
サーバは、マルチメディアデータに関する測光パラメータと関連づけられたこれらのマルチメディアデータを供給することに非常に関心を持つ。このことは、対応する受信器において、測光パラメータの生成を回避する。
【００１９】
第３の観点によれば、本発明はマルチメディアシステムを提案し、このマルチメディアシステムは、
−視覚データセットに関する測光パラメータと関連づけられた、少なくとも２つの視覚データセットを包含するマルチメディアデータを供給する、請求項６または７記載の少なくとも１つのサーバ（Ａｊ）と、
−前記の視覚データセット及びこれらの視覚データセットのそれぞれの測光パラメータを束ねて、前記のサーバから請求項１から５までのいずれか１項記載の少なくとも１つの装置へと伝送する手段（Ｃｊ）と、
−前記の供給された視覚データセットの内の少なくとも１つの視覚データセットの前記の供給された測光パラメータの効果を、前記の視覚データセットが共通の支援空間において別の視覚データセットに影響を及ぼすように、前記の供給された視覚データセットの内の少なくとも１つの別の視覚データセットに適用する相互的な測光効果を発生させる、請求項１から５までのいずれか１項記載の装置と、
を包含する。
【００２０】
第４の観点によれば、本発明はまた複数の視覚データセット間の相互的な測光効果を発生させる方法に関し、この方法では視覚データセットを共通の支援空間に配置し、
−視覚データセットに関する測光パラメータとそれぞれ関連づけられた、少なくとも２つの視覚データセットを包含するマルチメディアデータを供給し、
−前記の視覚データセット及びこの視覚データセットのそれぞれの測光パラメータを束ねて、少なくとも１つの管理手段に伝送し、
−測光パラメータ及びこの測光パラメータに関連づけられた視覚データセットに関する相互的な測光効果を動的に規定し、
−前記の測光パラメータによって規定された前記の効果を、前記の視覚データセットが別の視覚データセットに影響を及ぼすように、前記の視覚データセットの内の少なくとも１つの視覚データセットから前記視覚データセットの内の少なくとも１つの別の視覚データセットに適用する。
【００２１】
本発明はまたテレビ受信器、セットトップボックスまたは上述した相互的な測光効果を発生させる装置の特性を備えた固定端末または移動端末にも関し、テレビ受信器、セットトップボックス、固定端末または移動端末機器の利点は、相互的な測光効果を発生させる装置の利点と同様である。
【００２２】
本発明の別の特徴及び利点は、図面を用いて説明する本発明の非制限的な実施形態の以下の説明より明らかになる。ここで図１は、本発明によるシステムを表し、図２は本発明によるサーバを表し、図３は本発明による装置を表す。
【００２３】
図１は、接続リンク７を介してディスプレイ６と接続されている、本発明による相互的な測光効果を発生させる装置１を包含する、本発明による相互的な測光効果を発生させるシステムを示す。この装置１はまた、伝送リンク（Ｃ１，Ｃ２，...，Ｃｊ，...，Ｃｎ）を介してｎ個のサーバ（Ａ１，Ａ２，...，ＡＪ，...，Ａｎ）と接続されている。
【００２４】
サーバＡ１，Ａ２，...，ＡＪ，...，Ａｎは図２に示されており、また本発明による装置１は図３に示されている。
【００２５】
伝送リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎを全て同一のタイプにしても良いが、異なるタイプにしても良い。有利な実施形態においては、図１に示されているように、伝送リンクＣ１は伝送リンクＣ２，Ｃ３，...，Ｃｊ，...，Ｃｎとは異なる。この実施形態においては、伝送リンクＣ１はブロードキャストリンクである。伝送リンクＣ２，Ｃ３，...，Ｃｊ，...，Ｃｎは例えばインターネットリンクである。このことは、ユーザがサーバＡ１からなるの放送装置から受信したテレビ番組を鑑賞しながら、サーバＡ２，Ａ３，...，ＡＪ，...，Ａｎの内の１つから受信するインターネットウェブサイトから選択した幾つかの画像をディスプレイ６上に表示しようとする場合に相当する。
【００２６】
図２は、サーバＡ１，Ａ２，...，ＡＪ，...，Ａｎの内のいずれか１つのブロック図を示す。そのようなサーバはデータベース１７、マルチメディアコーダ９、メタデータコーダ１０、メタデータ管理モジュール１８及び伝送モジュール８を有する。
【００２７】
データベース１７はマルチメディアデータ及びメタデータを包含する。マルチメディアデータは、視聴覚データストリーム、３Ｄ画像、ハイパードキュメントまたはあらゆる種類のマルチモードデータまたはシングルモードデータであって良い。
【００２８】
メタデータは記憶されているマルチメディアデータの測光特性を表す。それは単一の光源または異なる形状の複数の光源（点光源、面光源）及び異なる種類の輝度（モノクロ、カラー、空間的な安定、空間的な不均一）であっても良い。光源の代わりに照明マップまたは大域照明記述子を使用することもできる。測光メタデータは透明度及び屈折を包含することができる。
【００２９】
照明とは異なるメタデータを予見することができる。例えば、メタデータは一連の反射マップを包含することができる。一連の反射マップは１つの反射マップを各ビデオ画像と関連づける。反射マップの各ピクセルは、対応するビデオピクセルの反射特性を表す１つまたは複数のパラメータを包含する。そのような一連の反射マップによって、ビデオにおける鏡面反射のような特殊効果を発生させることができる。例えばシンボリックまたは数値反射関数、または深度マップ（depth map）と組み合わされた反射マップなどのその他の反射形態を使用することができる。
【００３０】
メタデータ管理モジュール１８はメタデータを生成及び管理し、これらのメタデータをマルチメディアデータと関連づける。メタデータの生成をオフラインまたはオンラインで行うことができる。これはユーザ支援によるものか、自動的なもので良い。事前に計算されたメタデータ、マルチメディアデータ、または他のデータを使用することができる。
【００３１】
メタデータはマルチメディアデータと関連づけられる。例えば、１つの光源は１つのビデオ画像または１つのビデオシーケンスと関連づけられ、１つの反射マップは１つの３Ｄオブジェクトと関連づけられるか、１つの反射マップまたは１つの深度マップは１つのビデオ画像と関連づけられる。したがってメタデータは、この視覚データセットと共に少なくとも１つの別の視覚データセットを共通の支援空間に表示する手段を包含する。この手段はメタデータとマルチメディアデータとの相関を定める手段を包含する。
【００３２】
そのような相関はメタデータとマルチメディアデータとの間の距離または相対位置で良い。幾何学的な相関は、例えばビデオ画像または３Ｄオブジェクトのようなマルチメディアデータ、及び光源または反射マップのようなメタデータがどのようにして共通の支援空間に配置されるかを規定する。この共通の支援空間は平面、３Ｄ表面、３Ｄ空間またはその他の空間であって良い。
【００３３】
そのような相関はまた、メタデータ要素はマルチメディアデータ要素に影響を及ぼすことができるか否かを表す。例えば、ビデオ画像の照明を表す光源は、別のマルチメディアデータ要素に影響を及ぼすことができるが、ビデオ画像自体に影響を及ぼすことはない。
【００３４】
そのような相関は、データベース１７のマルチメディアデータ要素及びメタデータ要素に関するか、サーバＡｊには未知である属データ（generic data）に関しても良い。このようにして、サーバＡｊからのマルチメディアデータ要素及び他のサーバからのマルチメディアデータ要素を、例えばメタデータ内に包含されている照明及び反射のような測光特性を考慮することにより、これらマルチメディアデータ要素に相互的に作用が及ぼされる共通の支援空間において装置１のディスプレイ６に表示することができる。
【００３５】
管理モジュール１８はメタデータを管理する。例えば、装置１によって要求されたマルチメディアデータに関連する所定のメタデータを伝送するか否かを決定できる。また、符号化モードのタイプ、マルチメディアデータとの測光パラメータの関連性の種類も規定できる。この決定は、伝送リンクＣｊのタイプ及び状態、装置１のタイプ及び状態、サービスのタイプまたは品質レベル、価格決定モード及び支払モード、または装置１を使用するユーザのプロフィールなどの他の判定基準に依存して行うことができる。モジュール１８はまた空間分解能、数値精度または、生成または伝送すべきメタデータのサイズを決定することができる。管理モジュール１８はメタデータの生成、データベースにおけるメタデータの記憶、メタデータの符号化またはメタデータの伝送に関する他の管理タスクを行うことができる。
【００３６】
マルチメディアコーダ９のタイプはマルチメディアデータの種類に依存し、ＭＰＥＧ−４のシンプルプロファイル（simple profile）に関連するビデオコーダ、ＭＰＥＧ−４  ＢＩＦＳ（Binary Information for Scene）としての３Ｄデータコーダまたは他の種類のマルチメディアデータコーダであって良い。
【００３７】
メタデータコーダ１０はメタデータを圧縮し、またメタデータの種類に依存するものである。反射マップの場合にはメタデータコーダは、例えばＭＰＥＧ−４のシンプルプロファイル、ＭＰＥＧ−４のコアプロファイル（core profile）またはＪＰＥＧ（Joint Picture Expert Group）のためのビデオコーダを包含することができる。照明パラメータの場合には、メタデータデコーダはＭＰＥＧ−４  ＢＩＦＳモジュールまたはＶＲＭＬ（Virtual Reality Modeling Language）モジュールを包含することができる。メタデータデコーダは、フローティングポイント番号コーダ、ＡＳＣＩＩ（American Standard Code for Information Interchange）コーダまたは他の種類のコーダとしての他のモジュールを包含することができる。
【００３８】
伝送モジュール８は、使用される伝送リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎの種類及び使用される装置１のタイプに依存する。伝送モジュール８は変調、復調、多重化、同期化及び他のエラー訂正としてのタスクに関する伝送及び受信を実施する。操作に関する他の伝送も可能である。伝送リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎはマルチメディアデータ、測光メタデータ及びシグナリング情報を伝送する。
【００３９】
図３には、相互的な測光効果を発生させる本発明による装置１が示されている。前述の装置１はブラウザ２を有し、このブラウザ２は通信バス１５を介してメモリ３、合成（composition）／描画（rendering）手段４、インタフェース５、マルチメディアデコーダ１２、メタデータデコーダ１３及びメタデータ管理モジュール１６と接続されている。
【００４０】
ブラウザ２はユーザが使用するインタフェースであり、このブラウザを用いてユーザは、ディスプレイ６に表示したいマルチメディアデータを選択することができる。選択されたマルチメディアデータはインタフェース５を介して要求され、またその要求は通信リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎを介して、それぞれサーバＡ１，Ａ２，...，ＡＪ，...，Ａｎに送信される。ブラウザ２には遠隔制御装置、キーボードまたは他の人間機械インタフェース（図示せず）を介してアクセスすることができる。ブラウザは例えばグラフィックインタフェースであって良い。
【００４１】
メモリ３は、サーバＡ１，Ａ２，...，ＡＪ，...，Ａｎから受信しまたディスプレイ６に表示すべきパラメータに関連する、マルチメディアデータ、メタデータ及びブラウザを記憶する。
【００４２】
バス１５は装置１の異なるモジュールを相互接続するために使用される。
【００４３】
モジュール１１は前述のマルチメディア復号モジュール１２、前述のメタデータ復号モジュール１３、前述のインタフェース５及び伝送モジュール１４を包含する。
【００４４】
マルチメディアデコーダ１２は、サーバＡ１，...，ＡＪ，...，Ａｎの内の１つのマルチメディアデータコーダ９によって符号化されたマルチメディアデータを復号する。
【００４５】
メタデータデコーダ１３は、サーバＡ１，...，ＡＪ，...，Ａｎの内の１つのメタデータコーダ１０によって符号化されたメタデータを復号する。
【００４６】
伝送モジュール１４は伝送リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎの種類及び使用されるサーバＡ１，...，ＡＪ，...，Ａｎの種類に依存する。伝送モジュール１４は変調、復調、多重化、多重解除、同期化及びエラー訂正のタスクに関する伝送及び受信を実施する。
【００４７】
メタデータ管理モジュール１６は、通信リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎを介して受信した、メモリ３に記憶されているメタデータを管理する。管理タスクは例えば、記憶されているメタデータの空間分解能、数字精度、メタデータは受信及び記憶されているか否かの決定、合成／描画モジュール４へ伝送すべきメタデータの選択である。
【００４８】
複数の描画モード１９は、マルチメディアデータ要素及びメタデータ要素のためのメタデータ管理モジュール１６によって決定される。描画モードは、どのメタデータ要素によってマルチメディアデータ要素に影響が及ぼされ、どのメタデータ要素がマルチメディアデータに対して影響を有さないかを決定する。
【００４９】
描画モードを以下の例により説明する。ユーザがブラウザ２を介してサーバＡ１からのビデオシーケンスの伝送及びサーバＡ２からの３Ｄオブジェクトの伝送を選択し、サーバＡ１が１つの光源をビデオシーケンスに関連づけ、またサーバＡ２が１つの反射マップを３Ｄオブジェクトに関連づける場合には、これらの光源及び反射マップがそれぞれこれらのビデオシーケンス及び３Ｄオブジェクトと共に装置１に伝送されることは既知であるので、描画モードは光源にビデオシーケンスではなく３Ｄオブジェクトのみを照明させ、さらに３Ｄオブジェクトからビデオシーケンスへの反射を阻止する。
【００５０】
さらに描画モード１９は、メタデータとマルチメディアデータとの間の影響が存在するか否かを決定するだけでなく、メタデータ要素が合成／描画の間にどのようにマルチメディアデータ要素に影響を及ぼすかも決定することができる。したがって、描画モード１９は使用されるメタデータの空間分解能、使用される光分布または色モデルのタイプ及び数字精度、またはメタデータのマルチメディアデータ要素に対する影響を規定するその他のパラメータを規定することができる。
【００５１】
合成／描画モジュール４は、ブラウザ２を用いるユーザによって支援される共通の支援空間内にマルチメディアデータを配置する。共通の支援空間は２Ｄ平面、３Ｄ空間または他の共通の空間であって良い。マルチメディアデータの視覚部分は、測光メタデータ及びメタデータ管理モジュール１６によって決定される描画モード１９を考慮して描画される。オーディオデータは少なくとも１つのオーディオ信号から成る。
【００５２】
ここで、非制限的な実施形態によって、ユーザの要求の処理を論じる。
【００５３】
例えばユーザがビデオ映画を鑑賞している間にディスプレイ６にオブジェクトを表示しようとする場合には、ユーザは要求するオブジェクトをブラウザ２を用いて選択する。要求されたオブジェクトは遠隔のサーバＡ１，Ａ２，...，ＡＪ，...，Ａｎの内の１つから供給される。要求はブラウザ２からインタフェースモジュール５へ、そして伝送リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎを介して送信される。ネットワークのタイプに依存するのは、ブロードキャスト要求またはユニキャスト要求であり、インタフェースモジュールはまたネットワークのタイプに依存する。インタフェースモジュールは、リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎが前述のように異なるタイプであれば、種々のサブモジュールを包含することができる。
【００５４】
次いで要求がサーバＡ１，Ａ２，...，ＡＪ，...，Ａｎの内の１つの伝送モジュール８によって受信される。要求されたデータは、データベースからその関連づけられたメタデータと共に抽出される。これらのメタデータはメタデータ管理モジュールによって生成されているか、データベース１７に記憶されている。次いで要求されたデータ及びこのデータに関連づけられたメタデータはそれぞれマルチメディアコーダ９及びメタデータコーダ１０に送信される。符号化されると直ぐにこれら２つのデータは伝送モジュール８において一緒に関連づけられる。関連づけのタイプは、リンクＣ１，Ｃ２，...，Ｃｊ，...，Ｃｎにおいて使用されるプロトコルに依存する。これらのデータを、例えばリンクがインターネットリンクである場合にはＴＣＰ／ＩＰプロトコルにより関連づけることができる。
【００５５】
符号化されたデータは伝送リンクＣｊを介して装置１に伝送され、装置１の伝送モジュール１４において受信される。伝送モジュールは、リンクにおいて使用されるプロトコルに応じて、受信したデータ及びメタデータを多重解除する。次いでデータ及び関連づけられたメタデータはそれぞれマルチメディアデコーダ１２及びメタデータデコーダ１３によって復号される。データはメモリ３に送信され、メタデータ管理モジュール１６によって処理される。このメタデータ管理モジュール１６は合成／描画モジュールによって使用される描画モードを決定する。
【００５６】
合成／描画モジュール４はデータ及びモードを処理し、合成されたデータをディスプレイ６に送信する。
【図面の簡単な説明】
【００５７】
【図１】本発明によるシステムである。
【図２】本発明によるサーバである。
【図３】本発明による装置である。
【図１】
2005509932.tif 000003
【図２】
2005509932.tif 000004
【図３】
2005509932.tif 000005
【国際調査報告】
2005509932.tif 000006
2005509932.tif 000007
2005509932.tif 000008