(57)【要約】【課題】  ＦＯＧ機構を使ったＭＲシステム。【解決手段】  従来のＭＲ技術でビデオシースルー型のＨＭＤを利用して場面全体を暗くするには、キャプチャした実写映像の明るさを暗くし、それに対応してＣＧを暗く描画する、といった作業が必要であった。だがこれらを実現するためには、リアルタイムで実写映像の明るさを変更する必要があり、処理が重くなっていた。本発明では、グラフィックカードの持つＦＯＧ機能を用いて実写映像の明るさを落として描画すると共に、ＣＧもＦＯＧ機能を用いて明るさを落として描画することで、場面全体があたかも暗くなったかのように利用者に見せる。グラフィックカードのハードウェアの機能を用いて場面を暗くすることにより、性能を犠牲にせずに場面を暗くすることができる。【選択図】  図１
2005135052.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシースルー型のHMD(Head Mount Display)を使用したシステムにおいて、CG映像にFOGをかける際に、背景画像として使用する実写画像を、CG映像がFOGにより暗くなる色に合わせて明るさ調整などの画像処理を行うことを特徴としたシステム。
【請求項２】
実写映像の明るさの調整を、FOGをかけることにより実現することを特徴とした請求項1に記載のシステム。
【請求項３】
実写映像とCG映像にFOGをかける際に、実写映像とCG映像にそれぞれ別のFOGパラメータにより明るさの調整を行うことを特徴とした請求項2に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
ビデオシースルー型のHMDを用いたMR(Mixed Reality)もしくはAR(Augmented Reality)システムを使った装置に有効である。
【背景技術】
【０００２】
ビデオシースルー型のHMDを利用したMRシステムにおいてFOG効果をかける場合には、CGがFOGにより暗くなるのにあわせ、キャプチャした実写映像の明るさを暗くする作業が必要である。
【特許文献１】特開平１１−１３６７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
だが実写映像の明るさを暗くするには、毎秒30コマの実写映像のすべての画素を処理する画像処理を毎回行う必要があり、処理が重くなっていた。
【課題を解決するための手段】
【０００４】
本発明では、実写映像の明るさを変更するために、多くのグラフィックカードでハードウェア的にサポートされているFOG機能を使用することでこの問題を解決する。
【０００５】
具体的な手段として、背景画像として実写映像を描画する際に、CG映像に与えるFOGパラメータとは別のFOGパラメータを用いて描画することで実写映像の明るさを調整する。
【０００６】
このとき、CGと実写映像が調和するように両者のFOGパラメータを調整することで、観察者にCGと実写映像が違和感なく融合したFOG効果を与えることができる。
【発明の効果】
【０００７】
以上の説明から明らかなように本発明によれば、処理速度を犠牲にすることなくMR、ARシステムの中で、FOG効果を実現することが可能となる。
【発明を実施するための最良の形態】
【０００８】
本実施例の全体図を図1に、模式図を図2示す。本実施例はFOG機能を使用したMR技術を用いたゲーム(以下MRゲーム)である。HMD 100、3次元センサ本体 200、3次元センサ固定局 210、計算機 300、ゲームフィールド 400により構成される。
【０００９】
HMD 100はビデオシースルー方式のHDMである。図3に示すように、左目右目カメラ 110, 111、3次元センサ移動局 120、左目右目LCD 130, 131からなる。
【００１０】
プレイヤーはHMD 100を装着してゲームをプレーする。HMD 100内のLCD 130, 131には、カメラ 110, 111で撮影された実写映像とCG 画像が合成されて表示される(図4)。
【００１１】
本実施例では、実写映像とCG画像に個別にFOGをかけることで、FOGのかかったMR映像を利用者に提示する(図5)。FOG機構はWindows（登録商標）のグラフィックAPIであるDirectXの指数公式FOGモードの利用を想定している。
【００１２】
HDM 100に表示される映像は、計算機 300により作成される。計算機 300はCPU 301、メモリ 302、PCIブリッジ 303、シリアルI/O 310、ビデオキャプチャカード 320, 321、ビデオボード 330, 331からなる。
【００１３】
3次元位置センサ 200は3次元位置センサ固定局 210とHMD内蔵位置センサ 120、手位置センサ 500からなる。3次元位置センサ 200は磁気により3次元位置センサ固定局 210とHMD内蔵位置センサ 120の相対位置を測定する。位置情報は x, y , z, roll, pitch, yaw の6自由度を測定できる。計算機 300とはシリアルインターフェイスで通信を行う。3次元位置センサ固定局 210の位置は事前に正確に測定してあり、HMD内蔵位置センサの相対位置を知ることでHDMの絶対位置(ゲームフィールド 400の中心を原点とする)を知ることができる。
【００１４】
計算機 300のHMD 表示スレッドのフローチャートを図6に示す。左右の目の処理は基本的に同じなので、ここでは右目の処理について説明する。
【００１５】
ビデオカメラ 100からの実写映像は、ビデオキャプチャカード 320を通じて計算機 300に取り込まれる(S100)。
【００１６】
実写映像を描画する前に、実写映像を描画する際のFOGパラメータを設定する(S101)。実写映像はテクスチャとしてzバッファ=1の2次元の板に描画するため、FOGパラメータは次の値を設定している(変数foglevelは設定したいFOGの強度を0〜1で示したもの)。
【００１７】
FOG = 4 * (1 - foglevel)
このFOGをFOGパラメータとして設定するため、テクスチャとして描画される実写映像は、foglevelの値に応じて明るさが減少する(FOGのカラーを黒とした場合)。
【００１８】
実写映像は、メモリ 302上のビデオバッファに書き込む(S102)。このビデオバッファは、作成途中の映像を格納するための作業領域である。取り込んだ実写映像を書き込むことで、実写映像をCGの背景画像とすることができる。
【００１９】
シリアルI/O 310を通じて3次元位置センサ 200からHMD 100の位置情報を得る(S103)。HMD 100の位置は、ワールド座標に変換してから格納する。ワールド座標は、ゲームフィールド 400の中心を原点とした座標系であり、本実施例全体で使用する。ワールド座標への変換は、あらかじめ測定してあるゲームフィールド 400、3次元位置センサ固定局 210の位置を用いることで簡単に行うことができる。
【００２０】
CGを描画に使用する射影変換のための行列と、モデリング変換のための行列を作成する(S104)。HMD のワールド座標を用いモデリング変換行列を作成する。またあらかじめ測定しておいたカメラの焦点距離などのパラメータから、射影変換行列を作成する(射影行列の作成は最初の1回のみで、以降は使いまわす)。
【００２１】
CG用にFOGパラメータを設定する(S105)。
【００２２】
FOG = 0.0015 -  (0.0015 / (1.0 + 0.2)) * (foglevel + 0.2)
出来上がった変換行列を用い、CGデータをビデオバッファに描画する(S106)。ビデオバッファに上書きすることで、実写映像の上にCGが描画される。CGデータは別スレッドが必要に応じて動かしている。本実施例では魚とロケットのCGを動かしたが、CGの動かし方は本発明と関連ないので説明を省略する。
【００２３】
CGに関してもFOGパラメータを設定しているので、画面はfoglevelに応じてFOG効果のかかったものとなる。foglevelをそのままFOGパラメータとして用いないのは、実写映像の明るさとの調整を図るためである。
【００２４】
描画が終わると、ビデオバッファをビデオボード 330上のフレームバッファに転送し、HMD 100内のLCD 130に映像を描画する(S107)。
【００２５】
以上の処理により、MRゲームのなかでFOG効果を実現する際に、多くのグラフィックボードでハードウェア的に実装されたFOG機構を使用して実写映像の明るさを調整することができる。これにより、システムの性能を落とすことなく、MRゲームのなかでFOG効果を実現できる。
【図面の簡単な説明】
【００２６】
【図１】図1は、本実施例の全体図である。
【図２】本実施例の模式図である。
【図３】HMD 100の概略図である。
【図４】MR技術の概略を示した図である。
【図５】実写画像とCG画像に独立してFOGをかけることで、MRシステムにおいてFOG効果を実現する様子を示した図である。
【図６】画像表示スレッドの動作(片目分)を示したフローチャートである。
【符号の説明】
【００２７】
100  HMD
110，111  ビデオカメラ
120  HMD内蔵位置センサ
130，131  液晶ディスプレイ
200  3次元位置センサ本体
210  3次元位置センサ固定局
300  計算機
301  CPU
302  メモリ
303  PCIブリッジ
310  シリアルI/O
320，321  ビデオキャプチャボード
330，331  ビデオボード
【図１】
2005135052.tif 000003
【図２】
2005135052.tif 000004
【図３】
2005135052.tif 000005
【図４】
2005135052.tif 000006
【図５】
2005135052.tif 000007
【図６】
2005135052.tif 000008