(57)【要約】【課題】  現実空間の環境を変更することなく、簡便な方法で現実空間の画像と仮想空間の画像とを整合させる為の技術を提供すること。【解決手段】  照明強度算出部２３０は、操作入力部２１０から取得した照明強度設定値に基づいて撮像部１１０に設定する撮像パラメータを決定する。そして、決定した撮像パラメータを撮像部１１０に供給する。更に照明強度算出部２３０は、取得した照明強度設定値に基づいて光源パラメータを決定する。そして、決定した光源パラメータを設定する。【選択図】    図１
2007148567.tif 000002
【特許請求の範囲】
【請求項１】
外部から取得した第１のパラメータに基づいて撮像動作を制御する制御機構を備えた撮像装置によって撮像された現実空間の画像を取得する第１の取得工程と、
前記撮像装置の位置姿勢を取得する第２の取得工程と、
設定された第２のパラメータに基づいた光を照射する仮想光源を配した仮想空間における、前記位置姿勢に基づく視点からの画像を生成する生成工程と、
前記第１の取得工程で取得した画像と前記生成工程で生成した画像との合成画像を生成し、当該生成した合成画像を所定の表示装置に出力する出力工程と
を備える画像処理方法であって、
照明強度設定値を取得する第３の取得工程と、
前記取得した照明強度設定値に基づいて、前記撮像装置に設定する第１のパラメータを決定する第１の決定工程と、
前記決定した第１のパラメータを前記撮像装置に供給する供給工程と、
前記取得した照明強度設定値に基づいて、前記生成工程で用いる第２のパラメータを決定する第２の決定工程と、
前記決定した第２のパラメータを前記生成工程で用いるべく設定する設定工程と
を備えることを特徴とする画像処理方法。
【請求項２】
前記第１の決定工程では、照明強度設定値と第１の撮像パラメータとの対応関係を記したテーブルを参照することで、前記第３の取得工程で取得した照明強度設定値に対応する第１の撮像パラメータを決定することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第１の撮像パラメータには、絞り値、シャッタ速度、ＣＣＤ感度、ホワイトバランスの少なくとも１つが含まれていることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記第２の決定工程では、照明強度設定値と第１の光源パラメータとの対応関係を記したテーブルを参照することで、前記第３の取得工程で取得した照明強度設定値に対応する第１の光源パラメータを決定することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記第１の光源パラメータには、１以上の光源が照射する光の強度が含まれていることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
更に、色合いを示す設定値を取得する第４の取得工程を備え、
前記第１の決定工程では、色合いを示す設定値と第２の撮像パラメータとの対応関係を記したテーブルを参照することで、前記第４の取得工程で取得した設定値に対応する第２の撮像パラメータを決定することを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記第２の撮像パラメータには、Ｒゲイン、Ｇゲイン、Ｂゲインの少なくとも１つが含まれていることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記第２の決定工程では、色合いを示す設定値と第２の光源パラメータとの対応関係を記したテーブルを参照することで、前記第４の取得工程で取得した設定値に対応する第２の光源パラメータを決定することを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記第２の光源パラメータには、１以上の光源が照射する光の色成分が含まれていることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
外部から取得した第１のパラメータに基づいて撮像動作を制御する制御機構を備えた撮像装置によって撮像された現実空間の画像を取得する第１の取得手段と、
前記撮像装置の位置姿勢を取得する第２の取得手段と、
設定された第２のパラメータに基づいた光を照射する仮想光源を配した仮想空間における、前記位置姿勢に基づく視点からの画像を生成する生成手段と、
前記第１の取得手段が取得した画像と前記生成手段が生成した画像との合成画像を生成し、当該生成した合成画像を所定の表示装置に出力する出力手段と
を備える画像処理装置であって、
照明強度設定値を取得する第３の取得手段と、
前記取得した照明強度設定値に基づいて、前記撮像装置に設定する第１のパラメータを決定する第１の決定手段と、
前記決定した第１のパラメータを前記撮像装置に供給する供給手段と、
前記取得した照明強度設定値に基づいて、前記生成手段が用いる第２のパラメータを決定する第２の決定手段と、
前記決定した第２のパラメータを前記生成手段が用いるべく設定する設定手段と
を備えることを特徴とする画像処理装置。
【請求項１１】
コンピュータに請求項１乃至９の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の画像と仮想空間の画像との合成画像を生成する技術に関するものである。
【背景技術】
【０００２】
現実世界と仮想世界とを違和感なく自然に結合する複合現実感（MR: Mixed Reality）の技術を応用した提示装置（複合現実感提示装置）が盛んに提案されている。このような装置は、カメラなどの撮像装置によって撮影した現実世界の画像に対し、コンピュータグラフィックス（CG: Computer Graphics）で描画した仮想世界の画像を結合する。そして、結合した画像をヘッドマウントディスプレイ（HMD: Head-Mounted Display）などの表示装置に表示する。これにより、複合現実感を使用者に提示している。
【０００３】
これらの複合現実感提示装置は、現実世界の画像の変化に追従させるかたちで仮想世界の画像を生成するために、装置の使用者の視点位置姿勢をリアルタイムで取得する必要がある。この視点位置姿勢の取得には、６自由度位置姿勢センサ装置が広く用いられている。複合現実感提示装置は、６自由度位置姿勢センサ装置によって計測した使用者の視点位置姿勢を仮想世界での仮想の視点位置姿勢として設定し、ＣＧによって仮想世界の画像を描画して、現実世界の画像と結合する。このことにより、複合現実感提示装置の使用者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像を観察することができる。
【０００４】
図１は、従来の複合現実感提示装置の機能構成を示すブロック図である。同図において複合現実感提示装置は、ＨＭＤ部１００、複合現実感提示部２００、位置姿勢計測部３００から構成される。
【０００５】
先ず、ＨＭＤ部１００について説明する。ＨＭＤ部１００は、複合現実感提示装置の使用者が頭部に装着するものである。ＨＭＤ部１００は更に、撮像部１１０、表示部１２０により構成されている。撮像部１１０は、ビデオカメラなどの撮像装置によって実現され、複合現実感提示装置の使用者の視点位置姿勢から見た現実空間の動画像（実写画像）を撮像する。撮像した画像は複合現実感提示部２００に対して出力される。表示部１２０は、ＬＣＤなどの表示装置によって実現され、複合現実感提示部２００が生成した合成画像を、複合現実感提示装置の使用者に対して提示する。
【０００６】
次に、複合現実感提示部２００について説明する。複合現実感提示部２００は、仮想画像生成部２６０、画像合成部２７０により構成されている。仮想画像生成部２６０は、複合現実感提示装置の使用者の視点位置姿勢から観測される仮想世界の画像を生成する。画像合成部２７０は、上記撮像部１１０により撮像された現実空間の画像と、仮想画像生成部２１０が生成した仮想画像とを合成し、表示部１２０に表示する合成画像を生成する。
【０００７】
次に、位置姿勢計測部３００について説明する。位置姿勢計測部３００は、６自由度位置姿勢センサ装置などによって実現され、複合現実感提示装置の使用者の視点位置および姿勢を計測し、複合現実感提示部２００に供給する。複合現実感提示部２００は、位置姿勢計測部３００が計測した位置姿勢を、仮想世界を生成するための視点位置姿勢として設定し、仮想画像を生成する。
【０００８】
図２は、図１に示した構成を有する複合現実感提示装置が行う処理のフローチャートである。
【０００９】
先ず、複合現実感提示装置が起動されると、ステップＳ１０１０において、撮像部１１０によって、複合現実感提示装置の使用者が観察する現実世界の画像である実写画像が撮像され、複合現実感提示部２００に送出される。
【００１０】
ステップＳ１０２０において、位置姿勢計測部３００によって、複合現実感提示装置の使用者の視点位置姿勢が計測され、位置姿勢計測値が複合現実感提示部２００に送出される。
【００１１】
ステップＳ１０３０において、仮想画像生成部２６０によって、仮想画像が生成される。より具体的には、ステップＳ１０２０において計測された位置姿勢計測値を参照し、その位置姿勢から見た仮想世界のＣＧモデルを描画することによって、仮想画像を生成する。
【００１２】
ステップＳ１０４０において、ステップＳ１０１０で入力された実写画像と、ステップＳ１０３０で生成された仮想画像とが画像合成部２７０によって合成され、合成画像が生成される。
【００１３】
ステップＳ１０５０において、ステップＳ１０４０で生成された合成画像が表示部１２０に送出され、表示部１２０に合成画像が表示される。
【００１４】
ステップＳ１０６０において、ステップＳ１０１０に戻り、処理を継続する。または、複合現実感提示装置を終了する。
【００１５】
ここで、複合現実感提示装置の使用者に対して、あたかも現実世界の中に仮想の物体が存在しているかのような感覚を与えるためには、使用者の視点の動きに対して、使用者に提示される画像に即座に反映されていなければならない。そのため、ステップＳ１０２０からステップＳ１０６０までの１回の処理は、数ミリ秒から数百ミリ秒以内の時間で完了する必要がある。
【００１６】
図１に示した構成を有する複合現実感提示装置は、以上の手順で処理を行うことによって、複合現実感提示装置の使用者に合成画像、すなわち、複合現実感画像を提示する。
【００１７】
このような複合現実感提示装置には、撮像装置によって取得される実写画像と、ＣＧによって描画される仮想画像との画質を整合させるということが望まれる。従来から、複合現実感提示装置が使用される現実空間の環境と同一の照明を仮想空間にも設定し、ＣＧを描画することによって、仮想画像の陰影や色合いを、現実空間のものに近づけるという方法が採られている。特許文献１には、現実空間の光源からの光源環境を推定し、それをもとにＣＧによって描画される仮想の画像の陰影をより正確に表現する手法が開示されている。
【００１８】
これらの方法は、実写画像を基準として、仮想画像を実写画像に近づけるという考え方に基づいている。従来の手法によれば、現実空間と整合するかたちで、仮想空間を明るくしたり、暗くするためには、現実空間の環境自体を変更する以外に方法がない。例えば、複合現実感提示装置の使用者に対して夕暮れでの合成画像を提示するためには、夕暮れ時に屋外で複合現実感提示装置を使用させる必要がある。すなわち、提示する合成画像に応じて、現実空間の環境を設定しなければならない。
【特許文献１】特開平１１−１７５７６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
本発明は以上の問題に鑑みてなされたものであり、現実空間の環境を変更することなく、簡便な方法で現実空間の画像と仮想空間の画像とを整合させる為の技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００２１】
即ち、外部から取得した第１のパラメータに基づいて撮像動作を制御する制御機構を備えた撮像装置によって撮像された現実空間の画像を取得する第１の取得工程と、
前記撮像装置の位置姿勢を取得する第２の取得工程と、
設定された第２のパラメータに基づいた光を照射する仮想光源を配した仮想空間における、前記位置姿勢に基づく視点からの画像を生成する生成工程と、
前記第１の取得工程で取得した画像と前記生成工程で生成した画像との合成画像を生成し、当該生成した合成画像を所定の表示装置に出力する出力工程と
を備える画像処理方法であって、
照明強度設定値を取得する第３の取得工程と、
前記取得した照明強度設定値に基づいて、前記撮像装置に設定する第１のパラメータを決定する第１の決定工程と、
前記決定した第１のパラメータを前記撮像装置に供給する供給工程と、
前記取得した照明強度設定値に基づいて、前記生成工程で用いる第２のパラメータを決定する第２の決定工程と、
前記決定した第２のパラメータを前記生成工程で用いるべく設定する設定工程と
を備えることを特徴とする。
【００２２】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００２３】
即ち、外部から取得した第１のパラメータに基づいて撮像動作を制御する制御機構を備えた撮像装置によって撮像された現実空間の画像を取得する第１の取得手段と、
前記撮像装置の位置姿勢を取得する第２の取得手段と、
設定された第２のパラメータに基づいた光を照射する仮想光源を配した仮想空間における、前記位置姿勢に基づく視点からの画像を生成する生成手段と、
前記第１の取得手段が取得した画像と前記生成手段が生成した画像との合成画像を生成し、当該生成した合成画像を所定の表示装置に出力する出力手段と
を備える画像処理装置であって、
照明強度設定値を取得する第３の取得手段と、
前記取得した照明強度設定値に基づいて、前記撮像装置に設定する第１のパラメータを決定する第１の決定手段と、
前記決定した第１のパラメータを前記撮像装置に供給する供給手段と、
前記取得した照明強度設定値に基づいて、前記生成手段が用いる第２のパラメータを決定する第２の決定手段と、
前記決定した第２のパラメータを前記生成手段が用いるべく設定する設定手段と
を備えることを特徴とする。
【発明の効果】
【００２４】
本発明の構成により、現実空間の環境を変更することなく、簡便な方法で現実空間の画像と仮想空間の画像とを整合させることができる。
【発明を実施するための最良の形態】
【００２５】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２６】
［第１の実施形態］
図３は、本実施形態に係るシステムの機能構成を示すブロック図である。なお、同図において図１と同じ部分については同じ番号を付けており、その基本的な動作については同じものとする。
【００２７】
図３に示す如く、本実施形態に係るシステムは、ＨＭＤ部１９９、複合現実感提示部２９９、位置姿勢計測部３００により構成されている。以下、各部について詳細に説明する。
【００２８】
先ず、ＨＭＤ部１９９について説明する。ＨＭＤ部１９９は、図１を用いて説明した撮像部１１０、表示部１２０に加えて、撮像制御部１３０が備わっている。
【００２９】
撮像部１１０は、ビデオカメラなどの撮像装置によって実現され、自身の位置姿勢に応じて見える現実空間の動画像を撮像するものである。撮像した各フレームの画像（現実空間の画像）は、複合現実感提示部２９９が有する画像入力部２４０に入力される。
【００３０】
撮像制御部１３０は、複合現実感提示部２９９から撮像パラメータを受けると、これに従って撮像部１１０を制御する。この撮像パラメータには、撮像部１１０の絞り値、シャッタ速度、ＣＣＤ感度、ホワイトバランス等などが含まれる。これにより、撮像部１１０は、常に最新の撮像パラメータに基づいた撮像動作を行うことになる。
【００３１】
表示部１２０は、ＬＣＤなどの表示装置によって実現され、複合現実感提示部２９９が生成した合成画像を表示する。一般に表示部１２０は、ＨＭＤ部１９９を頭部に装着した観察者の眼前に位置するように、ＨＭＤ部１９９に取り付けられているものである。従って、ＨＭＤ部１９９を頭部に装着した観察者の眼前には、複合現実感提示部２９９が生成した合成画像が表示されることになる。
【００３２】
次に、複合現実感提示部２９９について説明する。複合現実感提示部２９９は、操作入力部２１０、仮想情報記憶部２２０、照明強度算出部２３０、画像入力部２４０、位置姿勢入力部２５０、仮想画像生成部２６０、画像合成部２７０により構成されている。
【００３３】
操作入力部２１０は、複合現実感提示部２９９を操作する操作者が各種の指示を入力するために使用するものである。本実施形態では操作入力部２１０を用いて後述の「照明強度設定値」を入力するので、操作入力部２１０は入力されたこの照明強度設定値を照明強度算出部２３０に送出する。
【００３４】
仮想情報記憶部２２０は、仮想空間を構成する各仮想物体を描画するためのデータや、仮想空間中に光を照射する光源（仮想光源）に係るデータ等、仮想空間に係るデータを保持する。仮想物体を描画するためにデータとしては、例えば仮想物体がポリゴンで構成されている場合には、ポリゴンを構成する各頂点の座標値データ、ポリゴンの法線ベクトルデータ、ポリゴンカラーデータ等がある。更に、仮想物体にテクスチャマッピングを行う場合には、テクスチャデータもある。
【００３５】
照明強度算出部２３０は、操作入力部２１０から入力された照明強度設定値に基づいて、上記撮像パラメータ、及び仮想空間を照射する光源に係るパラメータ（光源パラメータ）を算出、決定する処理を行う。
【００３６】
ここで、照明強度算出部２３０が行う処理についてより詳細に説明する。
【００３７】
上述の通り、照明強度算出部２３０には、操作入力部２１０から照明強度設定値が入力されるのであるが、この照明強度設定値は、現実空間画像における照明の強さと、仮想空間画像における照明の強さを示す値である。例えば、照明強度設定値が０〜１の間のアナログ値をとるものとした場合、照明強度設定値として「１」を設定した場合には最も強い照明を設定したことになり、「０」を設定した場合には最も弱い照明を設定したことになる。もちろん、０〜１のアナログ値を設定した場合には、その設定した値が「１」に近いほど強い照明となり、「０」に近いほど弱い照明となる。
【００３８】
照明強度算出部２３０は、このような照明強度設定値を受けると、図５に示すようなテーブルを参照し、受けた照明強度設定値に対応する撮像パラメータを特定する処理を行う。図５は、照明強度設定値と、撮像パラメータ（同図ではＥＶ値、シャッター速度、絞り値）との対応関係を記したテーブルの構成例を示す図で、入力された照明強度設定値に対応する撮像パラメータが一意に特定可能なように構成されている。例えば、入力された照明強度設定値Ｌが０．９≦Ｌ＜１．０を満たす場合には、ＥＶ値は１６，シャッター速度は１／１０００，絞り値は８、というように、一意に特定することができる。このようなテーブルは予め作成されているものである。
【００３９】
なお、図５では、撮像パラメータの一例として、ＥＶ値、シャッター速度、絞り値を示しているが、撮像パラメータとして用いるものはこれに限定するものではない。例えば、撮像制御部１３０がシャッタ速度の制御が可能で、絞り値の制御が不可能である場合には、撮像パラメータにはシャッタ速度のみを含めるようにしても良い。また、入力する照明強度設定値に対するＥＶ値やシャッタ速度、絞り値の組み合わせは、撮像部１１０および撮像制御部１３０の構成や、複合現実感を提示する環境、仮想シーンの内容に応じて適宜変更してもよい。
【００４０】
このように、照明強度算出部２３０は、操作入力部２１０から照明強度設定値が入力されると、このテーブルを参照し、対応する撮像パラメータを一意に特定する処理を行う。そして照明強度算出部２３０は撮像パラメータを特定する処理を行うと、特定した撮像パラメータをＨＭＤ部１９９が有する撮像制御部１３０に送出する処理を行う。撮像制御部１３０は上述の通り、照明強度算出部２３０から撮像パラメータを受けると、受けた撮像パラメータに基づいて撮像部１１０の絞りやシャッター速度などを制御する。これにより、撮像部１１０は結果として、操作入力部２１０から入力された照明強度設定値に対応する撮像パラメータに従った撮像処理を行うことになる。
【００４１】
また、照明強度算出部２３０は、操作入力部２１０から照明強度設定値を受けると、図６に示すようなテーブルを参照し、受けた照明強度設定値に対応する光源パラメータを特定する処理を行う。図６は、照明強度設定値と、光源パラメータ（同図では環境光強度、照明１強度、照明２強度）との対応関係を記したテーブルの構成例を示す図で、入力された照明強度設定値に対応する光源パラメータが一意に特定可能なように構成されている。例えば、入力された照明強度設定値Ｌが０．９≦Ｌ＜１．０を満たす場合には、環境光強度は０．９５、照明１強度は０．８，照明２強度は０．９というように、一意に特定することができる。このようなテーブルは予め作成されている。
【００４２】
なお、図６では、光源パラメータの一例として、環境光強度、照明１強度、照明２強度を示しているが、光源パラメータとして用いるものはこれに限定するものではない。例えば、減衰率、光源位置、スポットライトの広がりなどを光源パラメータに含めるようにしても良い。また、複数の仮想光源が存在する場合、各光源の光源情報の値や変更の割合については、構成する仮想シーンの内容によって変更してもよい。例えば、図６の例の場合、照明強度設定値が０．９５のときに、照明１強度より照明２強度が強くなっているが、仮想シーンに及ぼす影響に応じて、照明１強度をより強く、照明２強度をより弱くするように設定することも可能である。
【００４３】
このように、照明強度算出部２３０は、操作入力部２１０から照明強度設定値が入力されると、このテーブルを参照し、対応する光源パラメータを一意に特定する処理を行う。そして照明強度算出部２３０は光源パラメータを特定する処理を行うと、仮想情報記憶部２２０が保持している光源パラメータを読み出し、今回特定した光源パラメータに更新する処理を行う。これにより、以降、作成される仮想空間には、今回更新した光源パラメータに従った光源が設定されることになる。
【００４４】
以上の照明強度算出部２３０に係る動作説明をまとめると、次の様になる。即ち、照明強度算出部２３０は、操作入力部２１０から照明強度設定値を受けると、図５，６のそれぞれのテーブルを参照し、受けた照明強度設定値に対応する撮像パラメータ、光源パラメータを特定する。そして、特定した撮像パラメータは、ＨＭＤ部１９９が有する撮像制御部１３０に送出する。一方、仮想情報記憶部２２０が保持する光源パラメータを、今回特定した光源パラメータに更新する。
【００４５】
図３に戻って、次に、画像入力部２４０は、撮像部１１０から順次送出される各フレームの現実空間画像を受け、順次画像合成部２７０に送出する。
【００４６】
位置姿勢入力部２５０は、位置姿勢計測部３００により計測された撮像部１１０の位置姿勢計測値を受け、これに基づいて視点の位置姿勢を求め、求めた視点の位置姿勢を後段の仮想画像生成部２６０に送出する。
【００４７】
ここで、位置姿勢入力部２５０が行う処理についてより詳細に説明する。先ず位置姿勢計測部３００について説明するが、位置姿勢計測部３００は、例えば、現実空間中の１点に設置される磁気発信源と、この磁気発信源が発する磁気を検知するレシーバとで構成されるものである。一般にこのようなレシーバを位置姿勢測対象物に取り付けておけば、このレシーバは、磁気発信源の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系における位置姿勢測対象物の位置姿勢を計測することができる。しかし、このようなレシーバによって撮像部１１０の光学中心（視点）の位置姿勢を直接的に計測することは、レシーバを物理的に設置できないなどの要因により困難である。
【００４８】
そのため本実施形態では、レシーバによって計測される不図示の計測対象物をＨＭＤ部１９９に設置することとし、計測対象物と撮像部１１０の光学中心との３次元的な配置関係を予め求めておく。この配置関係は、３次元空間中での平行移動および回転を表す３次元座標変換行列によって表現することができる。この３次元座標変換行列を生成するためのパラメータが位置姿勢変換パラメータである。
【００４９】
従って位置姿勢入力部２５０は先ず、位置姿勢変換パラメータから３次元座標変換行列を生成する。そして、レシーバによって計測された計測対象物の位置姿勢計測値を３次元座標変換行列によって撮像部１１０の光学中心の位置姿勢に変換する。これにより、撮像部１１０の光学中心（即ち視点）の位置姿勢を求めることができる。なお、この３次元座標変換を生成する方法については、特開２００３−２０３２５２号公報、特開２００３−２６９９１３号公報などに開示されている。
【００５０】
また、ここでの説明では、位置姿勢計測部３００として磁気センサを用いた場合について説明した。しかし、本実施形態では、視点の位置姿勢を求めるための構成については特に限定するものではなく、位置姿勢を求めることができるものであれば、如何なる構成を用いても良い。
【００５１】
仮想画像生成部２６０は、位置姿勢入力部２５０から受けた位置姿勢を、仮想空間中における視点の位置姿勢とする。そして、仮想情報記憶部２２０に保持されている情報に従って構成される仮想空間を、この視点から見た場合に見える画像（仮想空間画像）を生成する処理を行う。なお、この仮想空間画像を生成する為には周知のとおり、仮想空間中に光源を設定する必要があるが、この光源からの照明強度は、照明強度算出部２３０が図６に示したテーブルを用いて上述の通り決定した強度である。
【００５２】
また本実施形態では、仮想空間画像を構成する各画素について輝度情報と奥行き情報とを保持するものとする。この奥行き情報は、仮想物体が存在する画素には視点からその画素の仮想物体までの距離を表す値が格納され、仮想物体が存在しない画素については、視点から最も遠い距離を表す値が格納される。
【００５３】
また、所定の位置姿勢を有する視点から見える仮想空間画像を生成するための処理については周知の技術であるので、これに関する説明は省略する。
【００５４】
そして画像合成部２７０は、画像入力部２４０から受けた現実空間画像上に、仮想画像生成部２６０が生成した仮想空間画像を重畳させた合成画像を生成する。ここで、この合成処理についてより詳細に説明する。仮想画像生成部２６０が生成した仮想空間画像は上述の通り、各画素について輝度情報と奥行き情報とを保持している。従って、生成する合成画像の各画素については、次のように輝度値を設定する。
【００５５】
現実空間画像における第１の画素と、仮想空間画像における第２の画素とを合成し、合成画像上における第３の画素とする場合、第２の画素の奥行き情報が視点から最も遠い距離を表す値であった場合には、第１の画素の輝度値を第３の画素の輝度値とする。
【００５６】
一方、第２の画素の奥行き値がそれ以外の値であった場合には、第２の画素の輝度値を第３の画素の輝度値とする。即ち、仮想物体が描画されている領域に関しては仮想空間画像、そうでない領域に関しては現実空間画像を描画することで、現実空間画像を背景とし、その手前に仮想空間画像が描画されることになる。
【００５７】
また、仮想画像生成部２６０が仮想空間画像を生成する前に、予め現実空間画像を入力しておき、背景として描画した後に、仮想空間画像をこの上に重ねてレンダリングし、合成画像を得るようにしてもよい。即ち、画像合成部２７０の機能を仮想画像生成部２６０が担うこととし、現実空間画像上に仮想空間画像を直接描画することによって明示的に仮想空間画像を生成することなく合成画像を直接生成するようにしても、同じ効果を得ることができる。
【００５８】
そして、画像合成部２７０は、生成した合成画像をＨＭＤ部１９９が有する表示部１２０に出力する。
【００５９】
図４は、複合現実感提示部２９９に適用可能なコンピュータのハードウェア構成を示すブロック図である。このようなコンピュータには例えば一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等を用いることができる。なお、複合現実感提示部２９９に適用可能なコンピュータの構成については適宜変形例が考えられる。
【００６０】
１０はＣＰＵで、ＲＡＭ２０に格納されているプログラムやデータを用いてコンピュータを構成する各部の動作制御を行うと共に、複合現実感提示部２９９が行う上記各処理を実行する。
【００６１】
２０はＲＡＭで、ディスク装置３０からロードされたプログラムやデータ、画像入力装置４０、位置姿勢入力装置５０、操作入力装置６０からそれぞれ入力されたデータを一時的に記憶するためのエリア等を有する。更に、ＲＡＭ２０には、ＣＰＵ１０が各種の処理を実行する際に用いるワークエリアも設けられている。
【００６２】
３０はディスク装置で、ハードディスク装置に代表される大容量情報記憶装置であって、ここにはＯＳ（オペレーティングシステム）や、複合現実感提示部２９９が行う上記各処理をＣＰＵ１０に実行させるためのプログラムやデータが格納されている。また、ディスク装置３０は、図１に示した仮想情報記憶部２２０としても機能するものであり、仮想空間画像を生成するために必要な上記各種のデータを保持する。これらのプログラムやデータはＣＰＵ１０による制御に従って適宜ＲＡＭ２０にロードされる。
【００６３】
４０は画像入力装置で、図１に示した画像入力部２４０として機能するものである。４５は制御信号出力装置で、図１に示した照明強度算出部２３０が有する一機能を実現するものである。即ち、図５に示したテーブルを用いて特定された撮像パラメータをＨＭＤ部１９９が有する撮像制御部１３０に送出する処理を行う。より具体的には、制御信号出力装置４５は、撮像制御部１３０がこの撮像パラメータに従って撮像部１１０を制御するよう、撮像制御部１３０に制御信号を送出する。
【００６４】
図４に戻って、５０は位置姿勢入力装置で、図１に示した位置姿勢入力部２５０として機能するものである。
【００６５】
６０は操作入力装置で、図１に示した操作入力部２１０として機能するものである。より具体的には、操作入力装置６０は、マウスやキーボードなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示を入力することが可能な構成となっている。従って、このような目的が達成されるのであれば、操作入力装置６０は如何なる形態で実施しても良い。入力された指示はＣＰＵ１０に通知される。なお、この指示には、上記照明強度設定値も含まれている。
【００６６】
７０は画像描画装置で、例えば、グラフィックボードなどにより構成されており、図１に示した仮想画像生成部２６０、画像合成部２７０として機能するものである。なお、画像描画装置７０が行う処理の一部、若しくは全部をＣＰＵ１０が行うようにしても良い。
【００６７】
８０は画像出力装置であり、画像描画装置７０が生成した合成画像をＨＭＤ部１９９が有する表示部１２０に出力する。９０は上述の各部を繋ぐシステムバスである。
【００６８】
次に、上記構成を有するコンピュータが、上記合成画像を生成してＨＭＤ部１９９が有する表示部１２０に出力する一連の処理について、同処理のフローチャートを示す図７を用いて以下説明する。なお、同図のフローチャートに従った処理をＣＰＵ１０に実行させるためのプログラムやデータはディスク装置３０に保存されている。そしてこのプログラムやデータはＣＰＵ１０による制御に従って適宜ＲＡＭ２０にロードされるので、ＣＰＵ１０がこれを用いて処理を実行することにより、本コンピュータは以下説明する各処理を実行することになる。
【００６９】
先ず、本コンピュータを起動すると、ステップＳ２０１０では、以下説明する各処理を行うための各種の初期化処理を行う。例えば、ディスク装置３０が保持する情報のうち、仮想情報記憶部２２０が保持するものとして上記で説明した各種の情報や、図５，６に示したテーブルのデータ、上記位置姿勢変換パラメータをＲＡＭ２０にロードしたりする処理が行われる。
【００７０】
次に、ステップＳ２０２０では、本コンピュータの操作者が操作入力装置６０を用いて入力した照明強度設定値をＲＡＭ２０に取得する。この照明強度設定値の取得については例えば以下のような形態が考えられる。即ち、コンピュータに表示装置を設け、この表示装置の表示画面上にスライダバーを表示する。そして、本コンピュータの操作者がマウスを用いてこのスライダバーを左右に移動させることで、照明強度設定値を０〜１の何れかのアナログ値に設定する。従ってＣＰＵ１０は現在のスライダバーの位置に応じたアナログ値を照明強度設定値として取得する。
【００７１】
次にステップＳ２０３０では、ＣＰＵ１０は、ディスク装置３０からＲＡＭ２０にロードされた図５のテーブルのデータを参照し、ステップＳ２０２０で取得した照明強度設定値に対応する撮像パラメータを取得する。そして同ステップでは更に、制御信号出力装置４５は、この取得した撮像パラメータに従って撮像部１１０の絞りやシャッター速度を制御するための制御信号を撮像制御部１３０に送出する。これにより撮像制御部１３０は上述の通り、撮像パラメータに基づいて撮像部１１０の絞りやシャッター速度を制御するので、結果として撮像部１１０は、ステップＳ２０２０で取得した照明強度設定値に対応する撮像パラメータに従った撮像処理を行うことになる。
【００７２】
次にステップＳ２０４０では、ＣＰＵ１０は、ディスク装置３０からＲＡＭ２０にロードされた図６のテーブルのデータを参照し、ステップＳ２０２０で取得した照明強度設定値に対応する光源パラメータを取得する。そして同ステップでは更に、ＣＰＵ１０は、ＲＡＭ２０にロードされている現在の光源パラメータを、同ステップで取得した光源パラメータに更新する処理を行う。これにより、仮想空間中に配される仮想光源は、ステップＳ２０２０で取得した照明強度設定値に対応する光源パラメータに従った光を照射することになる。
【００７３】
次にステップＳ２０５０では、位置姿勢計測部３００により計測された計測値に基づいて、位置姿勢入力部２５０が視点の位置姿勢を求める処理を行う。視点の位置姿勢を求めるための処理については上述の通りである。
【００７４】
次にステップＳ２０６０では、撮像パラメータに基づいて絞りやシャッター速度が制御された撮像部１１０が撮像した現実空間画像を画像入力部２４０によりＲＡＭ２０に取得する。
【００７５】
次にステップＳ２０７０では、ＣＰＵ１０は画像描画装置７０を制御し、画像描画装置７０はステップＳ２０５０で求めた位置姿勢を有する視点から見た仮想空間の画像を生成する処理を行う。
【００７６】
次にステップＳ２０８０では、ＣＰＵ１０は画像描画装置７０を制御し、画像描画装置７０は、ステップＳ２０６０で取得した現実空間画像とステップＳ２０７０で生成した仮想空間画像との合成画像を上述のようにして生成する。そして更に同ステップでは、画像出力装置８０によってこの合成画像をＨＭＤ部１９９が有する表示部１２０に送出する。これにより、ＨＭＤ部１９９を頭部に装着している観察者の眼前には、この合成画像が表示されていることになる。
【００７７】
次に、操作入力装置６０からの操作指示などにより、本処理の終了が指示された場合には本処理を終了するのであるが、指示されていない場合には処理をステップＳ２０９０を介してステップＳ２０２０に進め、以降の処理を繰り返す。
【００７８】
本実施形態では、ステップＳ２０２０からステップＳ２０９０までの一連の処理を、終了までの間、何度も繰り返し実行する。ステップＳ２０２０からステップＳ２０９０までの一連の処理をフレームと呼び、１フレームあたりの処理はおよそ数百ミリ秒以内に完了する。そのため、本装置の使用者が視点の位置姿勢を変更したり、操作入力装置６０に対して操作を行った結果については、本装置の使用者に即座に提示されることとなる。
【００７９】
なお、図７のフローチャートにおいて一部のステップについては、処理の順序を変更してもよい。例えば、ステップＳ２０３０の処理と、ステップＳ２０４０の処理については、この順序を入れ替えることができる。また、ステップＳ２０３０の処理はステップＳ２０６０の処理を実施する前に、ステップＳ２０４０の処理はステップＳ２０７０の処理を実施する前に完了していればよく、ステップＳ２０２０の処理とステップＳ２０３０の処理は相互に依存しない。このため、順序を入れ替えても、全体の処理に何ら影響を与えることはない。この例の他にも処理順序を入れ替えることのできるステップが複数存在するが、これまでの説明から自明であり、言うまでもないことである。
【００８０】
［第２実施形態］
本実施形態では更に色温度設定値なるものを取得し、取得したこの色温度設定値に応じて更に撮像部１１０、仮想光源の制御を行う。以下では、第１の実施形態で行う処理に加えて行う部分のみについて説明する。即ち本実施形態では、第１の実施形態で行う処理に加え、以下説明する処理をも行う。
【００８１】
本実施形態では操作入力部２１０を用いて照明強度設定値に加え、色温度設定値をも入力する。色温度設定値の入力方法については特に限定するものではないが、例えば以下のような形態が考えられる。即ち、コンピュータに表示装置を設け、この表示装置の表示画面上にスライダバーを表示する。そして、本コンピュータの操作者がマウスを用いてこのスライダバーを左右に移動させることで、色温度設定値を規定の最大値から最小値の間の何れかの値に設定する。操作入力部２１０は入力された照明強度設定値、及び色温度設定値を照明強度算出部２３０に送出する。
【００８２】
照明強度算出部２３０は、操作入力部２１０から入力された照明強度設定値、及び色温度設定値に基づいて、第１の実施形態とは異なる撮像パラメータ、及び光源パラメータを算出、決定する処理を行う。
【００８３】
ここで、照明強度算出部２３０が行う処理についてより詳細に説明する。色温度設定値とは、現実空間画像、仮想空間画像のそれぞれにおける色合いを示す値である。照明強度算出部２３０は、このような色温度設定値を受けると、図８に示すようなテーブルを参照し、受けた色温度設定値に対応する撮像パラメータを特定する処理を行う。図８は、色温度設定値と、撮像パラメータ（同図ではＲゲイン、Ｂゲイン）との対応関係を記したテーブルの構成例を示す図で、入力された色温度設定値に対応する撮像パラメータが一意に特定可能なように構成されている。例えば、入力された色温度設定値Ｃが９３００Ｋ≦Ｃ＜１２０００Ｋを満たす場合には、Ｒゲインは−４，Ｂゲインは＋５というように、一意に特定することができる。このようなテーブルは予め作成され、ディスク装置３０に保存されている。本実施形態では、ＲゲインとＢゲインについてのみ例を示しているが、さらにＧゲインについてもパラメータを定めるようにしてもよい。
【００８４】
なお、図８では、色温度設定値に対応する撮像パラメータの一例として、Ｒゲイン、Ｂゲインを示しているが、これに限定するものではない。また、入力する色温度設定値に対するＲゲインやＢゲインの組み合わせは、撮像部１１０および撮像制御部１３０の構成や、複合現実感を提示する環境、仮想シーンの内容に応じて適宜変更してもよい。
【００８５】
このように、照明強度算出部２３０は、操作入力部２１０から色温度設定値が入力されると、このテーブルを参照し、対応する撮像パラメータを一意に特定する処理を行う。そして照明強度算出部２３０は撮像パラメータを特定する処理を行うと、特定した撮像パラメータをＨＭＤ部１９９が有する撮像制御部１３０に送出する処理を行う。撮像制御部１３０は、照明強度算出部２３０から撮像パラメータを受けると、受けた撮像パラメータに基づいて撮像部１１０のＲゲインやＢゲインを制御する。これにより、撮像部１１０は結果として、操作入力部２１０から入力された色温度設定値に対応する撮像パラメータに従った撮像処理を行うことになる。
【００８６】
また、照明強度算出部２３０は、操作入力部２１０から色温度設定値を受けると、図９に示すようなテーブルを参照し、受けた色温度設定値に対応する光源パラメータを特定する処理を行う。図９は、色温度設定値と、光源パラメータ（同図では環境光色成分（Ｒ、Ｇ、Ｂ）、照明１色成分、照明２色成分）との対応関係を記したテーブルの構成例を示す図で、入力された色温度設定値に対応する光源パラメータが一意に特定可能なように構成されている。例えば、入力された色温度設定値Ｃが９３００Ｋ≦Ｃ＜１２０００Ｋを満たす場合には、環境光色成分は（０．９，０．８５，０．９５）、照明１色成分は（０．９５，０．９０，０．９８），照明２色成分は（０．８８，０．６５，０．９２）というように、一意に特定することができる。このようなテーブルは予め作成され、ディスク装置３０に保存されている。
【００８７】
なお、図９では、光源パラメータの一例として、環境光色成分、照明１色成分、照明２色成分を示しているが、これに限定するものではない。例えば、減衰率、光源位置、スポットライトの広がりなどを光源パラメータに含めるようにしても良い。また、複数の仮想光源が存在する場合、各光源の光源情報の値や変更の割合については、構成する仮想シーンの内容によって変更してもよい。例えば、図９の例の場合、色温度設定値が９６００Ｋのときに、照明１のＢ成分は照明２のＢ成分よりも強くなっているが、仮想シーンに及ぼす影響に応じて、照明２のＢ成分をより強く、照明１のＢ成分をより弱くするように設定することが可能である。
【００８８】
このように、照明強度算出部２３０は、操作入力部２１０から色温度設定値が入力されると、このテーブルを参照し、対応する光源パラメータを一意に特定する処理を行う。そして照明強度算出部２３０は光源パラメータを特定する処理を行うと、仮想情報記憶部２２０が保持している光源パラメータを読み出し、今回特定した光源パラメータに更新する処理を行う。これにより、以降、作成される仮想空間には、今回更新した光源パラメータに従った光源が設定されることになる。
【００８９】
以上の照明強度算出部２３０に係る動作説明をまとめると、次の通りである。即ち、照明強度算出部２３０は、操作入力部２１０から色温度設定値を受けると、図８，９のそれぞれのテーブルを参照し、受けた色温度設定値に対応する撮像パラメータ、光源パラメータを特定する処理を行う。そして、特定した撮像パラメータは、ＨＭＤ部１９９が有する撮像制御部１３０に送出する。一方、仮想情報記憶部２２０が保持する光源パラメータを、今回特定した光源パラメータに更新する。
【００９０】
これにより、第１の実施形態よりも詳細に撮像部１１０、仮想光源の設定を行うことができる。
【００９１】
また、本実施形態では、本装置の使用者からの操作によって色温度設定値を入力し、現実空間画像と仮想空間画像との色合いを同時に制御しているが、入力する設定値は色温度に関するものでなくても良い。即ち、色合いを指定する任意の種類の設定値を使用しても良い。例えば、色温度以外にも、色相や、ＲＧＢの割合などを設定値として用いても良い。ただし、色温度以外の設定値を用いた場合には、図８，９に示したように、入力された設定値に対応する撮像パラメータ、光源パラメータが一意に特定可能なように構成する必要がある。
【００９２】
［その他の実施形態］
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００９５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９７】
【図１】従来の複合現実感提示装置の機能構成を示すブロック図である。
【図２】図１に示した構成を有する複合現実感提示装置が行う処理のフローチャートである。
【図３】本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。
【図４】複合現実感提示部２９９に適用可能なコンピュータのハードウェア構成を示すブロック図である。
【図５】照明強度設定値と、撮像パラメータ（同図ではＥＶ値、シャッター速度、絞り値）との対応関係を記したテーブルの構成例を示す図である。
【図６】照明強度設定値と、光源パラメータ（同図では環境光強度、照明１強度、照明２強度）との対応関係を記したテーブルの構成例を示す図である。
【図７】合成画像を生成してＨＭＤ部１９９が有する表示部１２０に出力する一連の処理のフローチャートである。
【図８】色温度設定値と、撮像パラメータ（同図ではＲゲイン、Ｂゲイン）との対応関係を記したテーブルの構成例を示す図である。
【図９】色温度設定値と、光源パラメータ（同図では環境光色成分（Ｒ、Ｇ、Ｂ）、照明１色成分、照明２色成分）との対応関係を記したテーブルの構成例を示す図である。
【図１】
2007148567.tif 000003
【図２】
2007148567.tif 000004
【図３】
2007148567.tif 000005
【図４】
2007148567.tif 000006
【図５】
2007148567.tif 000007
【図６】
2007148567.tif 000008
【図７】
2007148567.tif 000009
【図８】
2007148567.tif 000010
【図９】
2007148567.tif 000011