(57)【要約】発明は、現実環境の照明情報を表す環境マップを生成する方法に関する。仮想環境への没入の印象を高めることに関して、この方法は、デジタル光学式取得デバイス（２２）から前記現実環境の部分照明情報を表す画像（２４）をリアルタイムで取得するステップであって、前記画像が複数のピクセルを含むステップと、前記画像の前記ピクセルの少なくとも一部の外挿によって前記環境マップを推定するステップとを含む。
2013515307.tif 000002
【特許請求の範囲】
【請求項１】
現実環境の照明情報を表す環境マップを生成する方法であって、
デジタル光学式取得デバイスから前記現実環境の部分照明情報を表す、複数のピクセルを含む画像をリアルタイムで取得するステップと、
前記画像の前記ピクセルの少なくとも一部の外挿によって前記環境マップを推定するステップと
を含むことを特徴とする方法。
【請求項２】
前記環境マップを拡散フィルタリングするステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記環境マップをグロッシーフィルタリングするステップを含むことを特徴とする請求項１または２の一項に記載の方法。
【請求項４】
前記外挿は、前記画像の境界に属するピクセルの値を環境マップ全体にスパニングするステップを含むことを特徴とする請求項１ないし３のいずれか一項に記載の方法。
【請求項５】
前記外挿は、前記環境マップの少なくとも一部に対する、前記画像の前記ピクセルの平均値に対応する値の適用を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記値の適用が、前記環境マップの前記少なくとも一部に応じて重み係数αで重み付けされることを特徴とする請求項５に記載の方法。
【請求項７】
前記取得デバイスは、しきい値よりも長い焦点距離を有することを特徴とする請求項１ないし６のいずれか一項に記載の方法。
【請求項８】
前記環境マップが角度マップによって表されることを特徴とする請求項１ないし７のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成画像の合成の領域に関し、より詳細には、仮想環境または３次元（３Ｄ）シーンの環境マップのリアルタイム生成の領域に関する。
【背景技術】
【０００２】
現在の技術によると、現実感のあるレンダリングのための方法は、仮想オブジェクトを照明するために現実の照明環境を取り込んで、再利用する、画像ベースの照明を広範に使用している。しかし、そのような照明環境の取込みは通常、静止シーンと、ハイエンドデジタルカメラ、ミラーボール、ＨＤＲビデオ取込みデバイスなどの特定の取込みハードウェアとを必要とする。
【０００３】
対話式ゲームおよびシミュレーションアプリケーションの出現と共に、仮想環境への没入の印象および仮想環境との対話性を、特にリアルタイムで高める方法がますます求められている。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の目的は、従来技術のこうした欠点を克服することである。
【０００５】
より具体的には、本発明の特定の目的は、仮想環境への没入の印象を高めることである。
【０００６】
本発明は、現実環境を表す環境マップを生成する方法であって、デジタル光学式取得デバイスから現実環境の部分照明情報を表す画像をリアルタイムで取得するステップであって、画像が複数のピクセルを含むステップと、画像のピクセルの少なくとも一部の外挿によって環境マップを推定するステップとを含む方法に関する。
【０００７】
有利には、この方法は、環境マップを拡散フィルタリングするステップを含む。
【０００８】
特定の特徴によれば、この方法は、環境マップをグロッシーフィルタリングするステップを含む。
【０００９】
有利な方式では、外挿は、画像の境界に属するピクセルの値を環境マップ全体にスパニングするステップを含む。
【００１０】
別の特徴によれば、外挿は、環境マップの少なくとも一部に対する、画像のピクセルの平均値に対応する値の適用を含む。
【００１１】
有利には、値の適用は、環境マップの少なくとも一部に応じて重み係数で重み付けされる。
【００１２】
別の特徴によれば、取得デバイスは、しきい値よりも長い焦点距離を有する。
【００１３】
有利な方式では、環境マップは角度マップによって表される。
【図面の簡単な説明】
【００１４】
添付の図面を参照する以下の説明を読むときに、本発明をより良く理解し、他の特定の特徴および利点が明らかとなるであろう。
【００１５】
【図１】本発明の特定の実施形態による、現実環境から照明情報を受け取る仮想環境を示す図である。
【図２】本発明の特定の実施形態による、図１の現実環境の部分照明情報を表す画像の取込みを図式的に示す図である。
【図３】本発明の特定の実施形態による、図２の取り込んだ照明情報を外挿する方法を図式的に示す図である。
【図４】本発明の特定の実施形態による、図２の取り込んだ照明情報を外挿することによって生成される環境マップを図式的に示す図である。
【図５】本発明の特定の実施形態による、図４の環境マップを生成する方法を実装するデバイスを示す図である。
【図６】本発明の特定の実施形態による、図１の現実環境の環境マップを生成する方法を示す図である。
【発明を実施するための形態】
【００１６】
現実環境を表す環境マップを生成する方法の特定の実施形態を参照することによって発明を説明する。環境マップは、仮想環境を照明するのに使用される情報を含む。この方法は、単純なウェブカメラまたは他の取得デバイスによって提供される画像から、照明情報（lighting information）を抽出するための単純かつ安価な解決策を提供する。まず、取り込んだ画像を環境マップ上に再マッピングし、取り込んだ画像から発出される、取り込んだ照明情報を、周囲環境の未知の部分に外挿する。有利な変形形態によれば、次いで、高品質レンダリング用のグラフィックスハードウェアを使用して、外挿した照明情報表現をリアルタイムでフィルタリングする。近似ではあるが、本発明は、バーチャルリアリティおよびマルチメディア応用例に対して使用可能な、もっともらしい環境マップを提供し、ローエンドグラフィックスハードウェア上であってもリアルタイムで動作する。
【００１７】
図１に、画面１３上に表示される仮想環境（３Ｄシーンとも呼ばれる）１００と対話する、現実環境１に属するユーザ１２を示す。仮想環境１００は、仮想オブジェクト（３Ｄオブジェクト）１０１、例えばユーザ１２が対話するアバターを含む。アバターは、例えば、ユーザ１２がビデオチャットアプリケーションを介して話をする人物のグラフィカル表現、またはユーザ１２によって制御される仮想アプリケーション（例えばゲーム）のキャラクタのグラフィカル表現である。ユーザ１２に関し仮想環境への没頭の印象を向上させることに関して、現実環境１の照明を表す情報が、デジタル光学式取得デバイス１１、例えばウェブカメラによって取り込まれる。取得デバイス１１の開口が限定されることにより、環境の全てを取り込むことはできないので、取り込まれる入射照明が取得デバイス１１の範囲外で外挿され、空間内の任意の方向に関する入射照明の完全な推定が得られる。仮想環境１００を照明する現実環境１から来る照明情報を使用することにより、現実環境１と仮想環境１００が１つの環境に統合されているという印象を向上させる。したがって、ユーザ１２が対話する仮想環境１００に没頭する印象が向上する。リアルタイムバーチャルリアリティ応用例では、光学式取得デバイス１１に関する位置の選択は、照明の空間的コヒーレンスを保証するためにディスプレイ画面１３の真上または真下となる。変形形態によれば、例えば照明設計の状況で、取得デバイス１１が、ターゲット照明を得るために任意の所望の位置に配置される。
【００１８】
図２に、デジタル光学式取得デバイス２２による現実環境１の部分的な照明情報を表す画像２４の取込みの図を示す。取り込んだ画像２４（またはその結果として得られる照明情報／データ）を仮想球Ω上にマッピングすることにより（光学式取得デバイスは球の中心に位置する）、現実環境１の環境マップ２が得られる。現実環境の取込みの結果として得られる照明情報は、取得デバイス２２の開口２３に限定される。したがって、環境マップ２は、利用可能な照明情報である第１の部分２０と、再構築すべき欠落した照明情報である第２の部分２１の２つの部分から構成される。取得デバイス２２の開口２３は、取得デバイスの焦点距離に依存する。有利な方式では、取得デバイス２２は、安価であり、現在のディスプレイ画面、コンピュータデバイス（ラップトップなど）、さらにはスマートフォンの多くの上で利用可能であるウェブカメラである。例えばウェブカメラの焦点距離は、例えば２５ｍｍまたは５０ｍｍに等しいしきい値よりも長い。変形形態によれば、光学式取得デバイスは、前述のしきい値よりも短い、または長い焦点距離を有する高解像度デバイス、またはＨＤＲ（「高ダイナミックレンジ」）デバイスである。
【００１９】
図３に、本発明の特定の非限定的な実施形態による、取り込んだ照明情報を外挿する方法の図を示す。
【００２０】
取り込んだ照明情報から、全体の環境照明を再構築することに関して、図２に示すように、取得したデータを仮想球にマッピングし、環境マップの角度マップが得られる。角度マップは環境マップの角度表現である。方向ｄ  ３１は、ターゲット角度マップ内のピクセル（ｘ，ｙ）＝（ｄxｒ，ｄyｒ）に対応する。ただし、
【００２１】
【数１】
2013515307.tif 000003
【００２２】
同様に、取り込んだデータのピクセル（ｘ，ｙ）を方向ｄcaptureに関連付けることができる。
【００２３】
【数２】
2013515307.tif 000004
【００２４】
上式で、
・ＹxおよびＹyは、それぞれ取得デバイスの水平開口および垂直開口であり、
・ＲｅｓxおよびＲｅｓyは、それぞれ取り込んだ画像の水平解像度および垂直解像度である。
【００２５】
この対応関係を使用して、次いで、取り込んだ画像２４を、図４上に示した角度マップ４（環境マップの角度表現に対応する）上にマッピングし、環境マップの部分表現が得られる。入射照明に関する利用可能な情報は、ウェブカメラの開口が限定されることにより部分的であるので、多くのサンプル方向ｄ  ３４は、環境の未知の部分に対応する可能性がある。次いで、欠落した照明情報を外挿して環境マップを完成させる。球の残りの部分にわたる、取り込んだ画像の境界ピクセル４２の拡張により、入射照明を外挿する。各境界ピクセル４２は、環境マップ内において非常に広い立体角に及ぶことになる（スパニングする）。言い換えれば、図４に示すように、取り込んだ画像２４の境界ピクセル４２のピクセル値が、考慮する境界ピクセル４２から開始して、球Ωの湾曲をたどって、方向４３に沿ったあらゆるピクセルについて再現される。その場合、所与の方向４３に沿った、外挿したあらゆるピクセルは、境界ピクセル４２のピクセル値と同一のピクセル値を取る。
【００２６】
変形形態によれば、外挿したあらゆるピクセルは、環境マップの欠落した部分２１に関するユーザの定義した値に対応するピクセル値を取る。
【００２７】
別の変形形態によれば、取り込んだ入射照明２０の平均値が、球の未知の部分２１に対して使用される。次いで、環境マップ生成を２つの部分に分割する。まず、部分環境マップを前に詳述したように生成する。同時に、未知の照明値に対応する所与の方向ｄ  ３１の周りのサンプル方向の割合を求める。そのようなサンプルは、ターゲット方向に入射する照明に対する寄与がない。その目的で、ｄ  ３１の周りの余弦分布３３に従ってＮ個のランダムな方向３２のセット３４を選択する。光情報が利用可能ではない球の部分２１内に位置するランダムな方向と、Ｎとの間の比により、値αが得られる。次いで、部分環境マップ生成の出力はＲＧＢ  αテクスチャであり、ＲＧＢチャネルは、畳み込まれた照明値を含み、アルファチャネルは、未知の値に対応する方向の量を格納する。平均照明の良好な概念が、部分環境マップの中心ピクセル４４によって与えられる。畳み込み中に使用される方向は、大部分は取得デバイス２２の範囲内に位置する。したがって、最終的環境マップのピクセルは、部分環境マップＬpartと、この平均値Ｌavgの加重和によって得られる。重み値は、未知の照明値に対応する方向の量である、部分マップのアルファチャネルである。次いで、外挿する照明が次のように定義される。
Ｌfinal（ｄ）＝α・Ｌavg＋（１−α）・Ｌpart
そのような外挿の結果を図４上に示す。図４は、本発明の特定の非限定的な実施形態による、現実環境の照明情報を表す角度マップ４を示す。角度マップ４は、現実環境の環境マップの角度表現に対応する。角度マップ４を得るために、球Ωのピクセル（環境マップに対応する）を、取得デバイス２２の主な取込み方向に直交する平面に投影する。角度マップは、取り込んだ部分光情報２０のピクセル、すなわち取り込んだ画像２４のピクセル、すなわち取得デバイス２２で取り込んだ現実環境からの光情報のピクセルを主に含むエリア４０を中心とする。このエリアは、円形の点線で境界が画される。角度マップ４を灰色の濃淡４１で示し、濃淡の最も明るい部分４１は角度マップの中心に位置し、最も暗い部分４５は角度マップの周辺に位置する。実際、最も明るい部分４１は、光学式取得デバイスから値が取り込まれた多数のピクセルを含む部分（部分光情報２０に対応する）に対応する。円形の点線によって境界が画される、最も暗い部分４５は、外挿によってピクセル値が推定され、値αが大きい、すなわち１に近いピクセルを含む部分に対応する。その部分４５のピクセルについて、その部分４５は、光情報が取り込まれ、したがって利用可能である部分２０から遠く離れた、環境マップの欠落した部分２１に属するので、そのピクセル値に関する不確定性は高い。一般的には、角度マップの中心部分から離れるほど、値αが大きいピクセルの数がより顕著となる。
【００２８】
球Ωの欠落した部分２１に属するピクセルのピクセル値の外挿後、有利には、角度マップの拡散および／またはグロッシーフィルタリングを実施する。図２に示す仮想球Ωの各ピクセルＰについて、対応する方向ｄを求める。次いで、拡散面について、ｄの周りの余弦分布に従って球のランダムな方向のセット３４を求める。モンテカルロ積分を使用して、半球Ｈに対する入射照明の積分を記述する式は以下のようになる。
【００２９】
【数３】
2013515307.tif 000005
【００３０】
上式で、
・Ｌdiffuse（ｄ）は、方向ｄに沿って拡散する光量であり、
・Ｌ（ωi）は、Ｎ個の方向３４のセットに属する方向ωiに沿って拡散する光量に対応し、
・Θiは、方向ｄと方向ωiによって形成される角度に対応する。
【００３１】
モンテカルロ積分は積分式に対する近似解を与え、その精度は、式３のサンプル数Ｎに直接関係する。リアルタイム計算の状況では、有利には、数値積分が非常に少ない時間量で実施される。この積分が高解像度画像に対して実施される場合、環境方向当たり受け入れることのできるサンプルは、最新のグラフィックスハードウェアであっても非常に少数だけ（例えば５、１０、または２０）である。そのような少数のサンプルを使用すると、空間および時間の両方で非常に雑音のある結果が生じ、したがって最終的画像で光スペックルおよびフリッカリングが生じる。しかし、拡散または中程度のグロッシー照明は、各方向にわたって滑らかに変化する傾向がある。この観察を活用して、生成されたフィルタリング済み環境マップの解像度を１２８×１２８などの非常に小さい値に低減することができる。この場合、リアルタイム制約をなおも満たしながら、フィルタリング済み環境マップの各ピクセルのサンプリング品質を高くする（通常は５０サンプル／ピクセル）ことができる。
【００３２】
図５に、現実環境１の照明情報を表す環境マップ４の生成のために適合され、１つまたはいくつかの画像のディスプレイ信号の作成に適合されたデバイス５のハードウェア実施形態の図を示す。デバイス５は、例えばパーソナルコンピュータＰＣ、ラップトップ、ゲームコンソール、またはワークステーションに対応する。
【００３３】
デバイス５は、クロック信号も移送するアドレスおよびデータバス２４によって互いに接続された以下の要素を備える。
−マイクロプロセッサ５１（またはＣＰＵ）、
−以下を備えるグラフィカルカード５２、
・いくつかのグラフィックプロセッサユニットＧＰＵ５２０
・ＧＲＡＭ（「グラフィカルランダムアクセスメモリ」）型の揮発性メモリ５２１
−ＲＯＭ（「読取り専用メモリ」）型の不揮発性メモリ５６、
−ランダムアクセスメモリ（ＲＡＭ）５７、
−例えばキーボード、マウス、ウェブカメラなどの１つまたは複数のＩ／Ｏ（「入出力」）デバイス５４
−電源５８。
【００３４】
デバイス５はまた、グラフィカルカードで例えばリアルタイムで計算および構成される環境マップによって照明された合成画像のレンダリングを特に表示するグラフィカルカード５２に直接接続されたディスプレイ画面のタイプのディスプレイデバイス５３をも備える。グラフィカルカード５２にディスプレイデバイス５３を接続するための専用バスの使用は、データ伝送のより顕著なスループットを有し、したがってグラフィカルカードによって構成された画像を表示する待ち時間を削減するという利点を有する。変形形態によれば、ディスプレイデバイスはデバイス５の外部にあり、ディスプレイ信号を伝送するケーブルでデバイス５に接続される。デバイス５、例えばグラフィカルカード５２は、例えばＬＣＤまたはプラズマ画面、ビデオプロジェクタなどの外部ディスプレイ手段へのディスプレイ信号の伝送のために適合された伝送手段またはコネクタ（図５には図示せず）を備える。
【００３５】
メモリ５２、５６、５７の説明で使用する「レジスタ」という語は、上述の各メモリにおいて、低容量のメモリゾーン（何らかのバイナリデータ）ならびに大容量のメモリゾーン（格納すべきプログラム全体、あるいは計算されるデータを表すデータまたは表示されるデータのすべてまたは一部を可能にする）を指すことに留意されたい。
【００３６】
始動したとき、マイクロプロセッサ５１は、ＲＡＭ５７に格納されたプログラムの命令をロードし、実行する。
【００３７】
ランダムアクセスメモリ５７は特に以下を含む。
【００３８】
−レジスタ５３０内の、デバイス５の始動時にロードされるマイクロプロセッサ５１のオペレーティングプログラム、
−仮想環境を表すパラメータ５３１（例えば、仮想環境のオブジェクトをモデル化するパラメータ、仮想環境を照明することに関するパラメータ）、
−受信パラメータ２３２（例えば、変調、コーディング、ＭＩＭＯ、フレーム繰り返しパラメータ）。
【００３９】
本発明に特有の、以下で説明する方法のステップを実装するアルゴリズムが、こうしたステップを実装するデバイス５に関連するグラフィカルカード５２のＧＲＡＭ５７に格納される。始動し、仮想環境を表すパラメータ５７１がＲＡＭ５７にロードされると、グラフィカルカード５２のＧＰＵ５２０が、こうしたパラメータをＧＲＡＭ５２１にロードし、例えばＨＬＳＬ（「高水準シェーダ言語」）言語、ＧＬＳＬ（「ＯｐｅｎＧＬシェーディング言語」）言語を使用する「シェーダ」などのマイクロプログラムの形態の下で、こうしたアルゴリズムの命令を実行する。
【００４０】
ＧＲＡＭ５２１は特に以下を含む。
−レジスタ５２１０内の、仮想環境１００を表すパラメータ、
−部分照明情報５２１１、
−現実環境１の環境マップを表す環境マップ５２１２を表すデータ、および
−比αを表す値５２１３。
【００４１】
変形形態によれば、ＧＲＡＭ５２１で利用可能なメモリ空間が十分でない場合、ＲＡＭ５７の一部が、データ５２１１、５２１２、および５２１３を格納するためにＣＰＵ５１によって割り振られる。それでも、この変形形態は、ＧＰＵからＧＲＡＭに、およびその逆にデータを送るためにグラフィカルカードで利用可能な能力よりも一般には低い伝送能力を有するバス３５を通じてグラフィカルカードからＲＡＭ５７にデータを送らなければならないので、環境マップの合成およびＧＰＵに含まれるマイクロプログラムから構成された仮想環境１００の表現を含む画像の合成に、より顕著な待ち時間をもたらす。
【００４２】
変形形態によれば、電源５８はデバイス５の外部にある。
【００４３】
図６に、本発明の特定の非限定的な実施形態による、現実環境１の照明情報を表す環境マップを生成する方法を示す。
【００４４】
初期化ステップ６０の間に、デバイス５の様々なパラメータを更新する。具体的には、環境マップのパラメータを含む仮想環境を表すパラメータを任意の方式で初期化する。
【００４５】
次に、ステップ６１の間に、デジタル光学式取得デバイスで画像を取り込み、画像は現実環境の部分照明情報を表す。取得デバイスによって取り込まれた部分照明情報は、取得デバイスの開口角に従って、すなわち取得デバイスの焦点距離に従って取得デバイスによって取り込むことのできる現実環境の部分に対応する。有利には、複数のピクセルを含む画像の取得をリアルタイムで実施し、したがって経時的な照明変化が取り込まれる。デジタル光学式取得デバイスは、例えば、しきい値よりも長い焦点距離を有するウェブカメラに対応し、しきい値は、例えば２５または５０ｍｍに等しい。変形形態によれば、デジタル光学式取得デバイスは高解像度カメラまたはＨＤＲカメラである。別の変形形態によれば、取得デバイスの焦点距離はしきい値未満であり、取り込んだ部分光情報は、その変形形態によれば、焦点距離がしきい値よりも長い場合よりも重要となる。
【００４６】
次いで、ステップ６２の間に、取り込んだ部分光情報を外挿することにより、現実環境の照明情報を表す環境マップを推定する。外挿により、現実環境の光情報についての情報を有さない環境マップの部分を、取得デバイスの取込みの範囲外として埋めることが可能となる。有利には、部分光情報の外挿は、取り込んだ画像の境界ピクセルのピクセル値の、環境マップの残りの部分へのスパニングを含む。したがって、取り込んだ画像の周辺に属する各ピクセルのピクセル値が、境界ピクセルで始まり、環境マップの曲がりをたどる曲線（球Ωで表される）に沿って位置する環境マップ（または、環境マップの角度表現であり、したがって環境マップに対応する角度マップ）のピクセルに関連付けられる。変形形態によれば、外挿は、環境マップの１つまたはいくつかのエリアに対する、取り込んだ画像のピクセルの平均値の適用を含む。この変形形態によれば、平均値が適用されるエリア（複数可）は、現実環境の照明についての情報が取り込まれなかった環境マップの部分、例えば取り込んだ画像に対応する部分の反対側の環境マップの部分に対応する。この変形形態は、境界ピクセルの、環境マップの他のピクセルへのスパニングによる、周囲の照明の恐らくは顕著な過大評価または過小評価を補正するという利点をもたらす。別の変形形態によれば、環境マップのいくつかの部分に対する平均値の適用が、重み係数で重み付けされる。有利には、重み係数は、図３に関して説明したように、未知の照明値に対応する所与の方向ｄの周りのサンプル方向の割合に対応する比αに対応する。したがって、重み係数αは、ピクセル値が外挿される環境マップのピクセルの位置に依存する。別の変形形態によれば、外挿は、現実環境から来る照明情報が利用可能ではない環境マップのピクセルに対する、ユーザの定義した値の適用を含む。
【００４７】
有利な方式では、環境マップは、環境マップの角度表現である角度マップの形態の下で表される。角度表現は、環境マップ全体を１つの単一のコンパクトなマップで表現するという利点を有する。変形形態によれば、環境マップは、任意の他のタイプの表現、例えば緯度−経度表現、双放物面表現、キューブマップ表現、ミラーボール表現で表される。
【００４８】
変形形態によれば、この方法は、環境マップの拡散フィルタリングのステップを含み、このステップは、ステップ６２の前または後に実施され、有利には、拡散フィルタリングがリアルタイムで実施される。この変形形態は、拡散面上の照明の迅速な計算を可能にし、完全な鏡面に限定されないという利点をもたらす。
【００４９】
別の変形形態によれば、方法は、環境マップのグロッシーフィルタリングのステップを含み、このステップは、ステップ６２の前または後に実施され、有利には、グロッシーフィルタリングがリアルタイムで実施される。この変形形態は、中程度の鏡面上の照明の迅速な計算を可能にし、完全な鏡面に限定されないという利点をもたらす。
【００５０】
当然ながら、本発明は上述の実施形態に限定されない。
【００５１】
具体的には、本発明は、照明情報を表す環境マップを生成する方法に限定されず、この方法を実装する任意のデバイス、特に少なくともＧＰＵを備えるすべてのデバイスにも拡張される。環境マップを生成するのに必要な計算の実装は、シェーダタイプのマイクロプログラムでの実装に限定されず、あらゆるタイプのプログラム、例えばＣＰＵタイプのマイクロプロセッサによって実行されるいくつかのプログラムでの実装にも拡張される。
【００５２】
本発明の使用はリアルタイムの使用に限定されず、任意の他の使用にも拡張される。
【００５３】
有利には、仮想会議で発明を使用することができる。各ユーザが、仮想世界のアバターによって表される。本発明はもっともらしい動的照明再構築を実現するので、現実ユーザと仮想アバターとの間のギャップを低減する傾向があり、したがってアバターの存在を高める。仮想トレーニングや共同的仮想世界などの広範な他の応用例が、本発明から利益を受けることができる。
【００５４】
本発明は、周囲の照明の単純な取得を実現する。本発明により、ユーザは仮想環境の照明と直接対話することが可能となるので、有利には、対話式光編集ツールのための基礎として本発明を使用することができる。３Ｄモデルで始めて、ユーザは、現実光源を使用して、仮想照明環境のプロトタイプを構築することができる。本発明は、環境照明の完全な記述を実現するので、生成中に仮想環境を照明するために、再構築した環境マップをそのまま使用することができる。別の可能性は、ターゲット照明を構築するためのいくつかの環境マップの組合せに依拠し、照明を数回取り込み、次いで組み合わせて所望の効果を得る。さらに、ユーザは、本発明を使用して環境マップを生成し、次いでマップの主な照明要素に対応する半対話式点光源の自動抽出を実施することができる。
【００５５】
ウェブカメラの開口は通常は小さいので、球面情報の大部分は外挿によって得られる。法外なアーチファクトを導入することなくこの問題を低減する単純な方式は、ウェブカメラの開口を人工的に広げるものである。したがって、画像が球のより広い部分に及び、外挿されるデータ量が削減される。物理的には正しくないが、この解決策は、カメラの周りの現実オブジェクトの移動を強調し、したがって現実世界への仮想オブジェクトの没入感が高まる。照明設計について、このことにより、実際のウェブカメラ開口範囲に限定されるのではなく、半球の任意の方向について光源を作成する単純かつ直感的な方式が得られる。
【００５６】
変形形態によれば、ＨＤＲ画像の取込みをエミュレートすることに関して、取得デバイスセンサの露光時間を動的に修正することにより、取り込んだ照明のダイナミックレンジが向上する。
【００５７】
発明はまた、現実環境の照明の取込みから環境マップが生成されるビデオ画像を２次元または３次元で構成する方法にも関する。
【００５８】
有利な方式では、図５上で示したデバイス５は、キーボードおよび／またはジョイスティックなどの対話手段を備え、例えば音声認識などの他の入力手段も可能である。
【図１】
2013515307.tif 000006
【図２】
2013515307.tif 000007
【図３】
2013515307.tif 000008
【図４】
2013515307.tif 000009
【図５】
2013515307.tif 000010
【図６】
2013515307.tif 000011
【国際調査報告】
2013515307.tif 000012
2013515307.tif 000013