【手続補正書】
【提出日】平成23年11月7日(2011.11.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記位置方向計測手段により計測された前記撮像手段の位置、前記仮想光源の位置および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における前記仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを、前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成手段と、
を備えることを特徴とする複合現実感提示システム。
【請求項２】
前記光効果算出手段は、
前記仮想光源の位置から前記撮像手段の位置への方向ベクトルと前記撮像手段の位置から前記仮想物体の位置への方向ベクトルとの内積をとり、当該内積の値と所定値とを乗算することにより前記仮想光源の輝度の調整値を算出することを特徴とする請求項１に記載の複合現実感提示システム。
【請求項３】
現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの平行光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記位置方向計測手段により計測された前記撮像手段の位置、前記平行光の照射方向、および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを、前記位置方向計測手段により計測された前記撮像手段の位置と前記撮像方向とに基づいて合成する画像合成手段と、
を備えることを特徴とする複合現実感提示システム。
【請求項４】
前記光効果算出手段は、
前記平行光の方向ベクトルと前記撮像手段の位置から前記仮想物体の位置への方向ベクトルとの内積をとり、当該内積の値と所定値とを乗算することにより前記仮想光源の輝度の調整値を算出することを特徴とする請求項３に記載の複合現実感提示システム。
【請求項５】
前記光効果算出手段は、
前記内積の値が所定の閾値内に入るときに、前記仮想光源の輝度の調整を行うことを特徴とする請求項２または４に記載の複合現実感提示システム。
【請求項６】
前記仮想画像生成手段は、前記仮想光源と同位置に、光の方向が前記仮想光源から前記撮像手段の位置への方向となるように配置された、シーンの輝度を低減させるように機能する仮想照射光源を設定し、
前記調整手段は、前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における前記仮想照射光源の輝度を調整することを特徴とする請求項１または２に記載の複合現実感提示システム。
【請求項７】
現実世界の被写体を撮像する撮像手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の複合現実感提示システム。
【請求項８】
複合現実感提示システムによる複合現実感提示方法であって、
位置方向計測手段が、現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測ステップと、
画像生成手段が、仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成ステップと、
光効果算出手段が、前記計測された前記撮像手段の位置、前記仮想光源の位置および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出ステップと、
調整手段が、前記計算された輝度の調整値を用いて前記仮想光源の輝度を調整する調整ステップと、
画像合成手段が、前記撮像された現実世界の被写体像と前記生成された仮想画像とを、前記計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成ステップとを有することを特徴とする複合現実感提示方法。
【請求項９】
複合現実感提示システムによる複合現実感提示方法であって、
位置方向計測手段が、現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測ステップと、
画像生成手段が、仮想光源からの平行光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成ステップと、
光効果算出手段が、前記計測された前記撮像手段の位置、前記平行光の照射方向、および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出ステップと、
調整手段が、前記計算された輝度の調整値を用いて前記仮想光源の輝度を調整する調整手段と、
画像合成手段が、前記撮像された現実世界の被写体像と前記生成された仮想画像とを、前記計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成ステップと、を有することを特徴とする複合現実感提示方法。
【請求項１０】
請求項８または９に記載の複合現実感提示方法の各工程をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記課題を解決するため、本発明における複合現実感提示システムは以下の構成を備える。すなわち、
現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記位置方向計測手段により計測された前記撮像手段の位置、前記仮想光源の位置および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における前記仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを、前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成手段と、を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
ステップＳ２０１：観察者が頭部に装着したＨＭＤ１３２のカメラ１３３は現実空間の被写体を撮像する。撮像された現実空間の画像は画像出力部１３４に送信される。画像出力部１３４は現実空間の被写体像をシステム制御部１０１の画像入力部１０２に送信する。システム制御部１０１では画像入力部１０２から取り込んだ現実空間の画像データを画像合成部１０３に送信する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
ステップＳ２０２：カメラ位置姿勢計測部１０５はカメラ１３３の位置と撮像方向（姿勢）を計測し、その位置と方向の情報を仮想画像生成手段１０６に送信する。カメラ１３３の位置姿勢に関する位置方向計測の方法は、例えばPOLHEMUS(ポヒマス)社の３次元位置姿勢計測システムFastrak等を用いることで計測できる。このシステムにおいてはどのような手段を使用しても構わない。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
ステップＳ２０３：ライト属性入力部１０８はライト属性を光効果算出手段１０７へ入力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
ステップＳ２０４：光効果算出手段１０７はライト属性入力とカメラ位置姿勢計測部１０５からの位置情報を元に必要があれば、仮想照明の属性を変更する。どのように属性を変更するかは、本発明の重要な部分であり、図７を用いて後述する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
ステップＳ２０５：仮想画像生成手段１０６は、光効果算出手段１０７において変更された仮想照明の属性とカメラ位置姿勢計測部１０５からの位置情報とに基づき仮想世界の像を描画し仮想画像を生成する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
ステップＳ２０６：画像合成部１０３は、画像入力部からの現実世界の画像と仮想画像生成手段１０６からの仮想世界の画像を合成し、合成画像を画像出力部１０４へ送る。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
ステップＳ２０７：画像出力部１０４は、ＨＭＤ１３２の画像入力部１３５へ合成画像を送り、画像表示部１３６はその合成画像を表示する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
ステップＳ４０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想点光源が存在するか否かを確認する。仮想点光源が存在すればステップＳ４０２に進む。存在していなければ終了する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
ステップＳ４０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ１２とする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
ステップＳ４０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ１１とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
ステップＳ４０４：光効果算出手段１０７において、係数ｋ＝０．５とされ、仮想点光源の輝度の低減率ｔ１が算出される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
ステップＳ４０５：光効果算出手段１０７において、仮想点光源の元の輝度をｉ１１、新しい低減された輝度をｉ１２とする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図６は実施形態２の計算の流れをフローチャートにした図である。図４のフローチャートとの相違は、ステップＳ４０３とステップＳ４０４の処理の間にステップＳ６０１を挿入したものである。したがって、ステップＳ６０１以外のステップの説明は、省略する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
ステップＳ６０１：光効果算出手段１０７は、内積（ｅ１１・ｅ１２）を計算し、この内積が正のとき、ステップＳ４０４に進む。もし負のときステップＳ４０１に戻る。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
ステップＳ８０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想平行光が存在するか否かを確認する。仮想点光源が存在すればステップＳ８０２に進む。存在していなければ終了する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
ステップＳ８０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ３２とする。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
ステップＳ８０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ３１とする。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
ステップＳ８０４：光効果算出手段１０７において、係数がｋ＝０．５とされ、仮想平行光の輝度の低減率ｔ３が次式により算出される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
ｔ３＝ｋ＊（ｅ３１・ｅ３２）
ステップＳ８０５：光効果算出手段１０７において、仮想平行光の元の輝度をｉ３１、新しい輝度をｉ３２とする。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
図８のフローチャートとの相違は、ステップＳ８０３とステップＳ８０４の処理の間にステップＳ１００１を挿入したものである。したがって、ステップＳ１００１以外のステップの説明は、省略する。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
ステップＳ１００１：光効果算出手段１０７は、内積（ｅ３１・ｅ３２）を計算し、この内積が正のとき、ステップＳ８０４に進む。もし負のときステップＳ８０１に戻る。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
図１２は、図６における実施形態１のフローチャートのステップＳ４０５をステップＳ１２０１に変更したものである。したがって、ステップＳ１２０１以外のステップの説明は、省略する。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
ステップＳ１２０１：光効果算出手段１０７は、仮想点光源の輝度をｉ１１、仮想照射光による効果をｉ４としたとき、ｉ４＝ｉ１１＊ｔ１を計算し、輝度調整値を求める。
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2010128986.tif 000001
【手続補正２７】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2010128986.tif 000002
【手続補正２８】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2010128986.tif 000003
【手続補正２９】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2010128986.tif 000004
【手続補正３０】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2010128986.tif 000005
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】複合現実感提示システムおよび複合現実感提示方法、プログラム