(57)【特許請求の範囲】
【請求項１】
仮想物体を含んだ仮想画像を生成する生成手段と、
前記仮想画像を観察するユーザの所定部位と前記仮想物体とを検出する検出手段と、
前記検出された前記ユーザの所定部位と前記仮想物体との重なり量を評価して、該評価される重なり量に応じて変化する前記仮想物体のシミュレーションを行うためのパラメータを決定し、該決定されるパラメータに基づいて、前記仮想物体の動作を制御する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記ユーザの所定部位の位置及び姿勢と、前記仮想物体の位置及び姿勢とを検出し、
前記制御手段は、前記検出された前記ユーザの所定部位の位置及び姿勢と前記仮想物体の位置及び姿勢とを使って、前記ユーザの所定部位と前記仮想物体との重なり量を評価することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、更に、前記ユーザの頭部の位置及び姿勢とを検出し、
前記制御手段は、前記ユーザの頭部の位置及び姿勢からの視点で前記ユーザの所定の部位と前記仮想物体との重なり量を評価することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
更に、前記仮想物体の動作を表示する表示手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示手段は、前記ユーザの頭部に装着することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記表示手段は、現実空間を透過させて表示することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
更に、現実空間の映像を撮像する撮像手段を備え、前記表示手段は、前記仮想物体の画像を当該撮像手段によって撮像された現実空間の映像に重畳して表示することを特徴とする請求項４または５に記載の画像処理装置。
【請求項８】
前記所定部位は手であることを特徴とする請求項１乃至７に記載の画像処理装置。
【請求項９】
前記所定部位は、前記ユーザが物品を把持または装着する部位であることを特徴とする請求項１乃至８に記載の画像処理装置。
【請求項１０】
前記検出手段は、複数の所定部位の位置及び姿勢を検出し、前記制御手段は、複数の所定部位の位置及び姿勢を利用することを特徴とする請求項２乃至９に記載の画像処理装置。
【請求項１１】
前記検出手段が更に、複数のユーザについて所定部位の位置及び姿勢を算出する手段を備え、前記制御手段は、複数のユーザにおける所定部位の位置及び姿勢を利用することを特徴とする請求項２乃至１０に記載の画像処理装置。
【請求項１２】
更に、圧力情報を取得する感圧センサーを具備し、前記制御手段は、当該圧力情報を利用することを特徴とする請求項１乃至１１に記載の画像処理装置。
【請求項１３】
更に、前記感圧センサーの位置及び姿勢を計測する計測手段を備え、前記制御手段は前記感圧センサーの位置及び姿勢を利用することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
生成手段が、仮想物体を含んだ仮想画像を生成する生成工程と、
検出手段が、前記仮想画像を観察するユーザの所定部位と前記仮想物体を検出する検出工程と、
制御手段が、前記検出された前記ユーザの所定部位と前記仮想物体との重なり量を評価して、該評価される重なり量に応じて変化する前記仮想物体のシミュレーションを行うためのパラメータを決定し、該決定されるパラメータに基づいて、前記仮想画像中の仮想物体の動作を制御する制御工程とを有することを特徴とする画像処理方法。
【請求項１５】
コンピュータに請求項１４に記載の画像処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法に関し、特に、仮想空間または現実空間において設計データのシミュレーションの検証作業を行う際にシミュレーションに対して操作を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
従来、機械設計の分野では三次元ＣＡＤシステムが用いられており、機構、及び機構の構成部品を立体的に表示しながら設計を行うことが可能になっている。この種のシステムにおいては、例えばアクチュエーターやモータ等の能動部品やセンサー等を制御するための制御プログラムの開発を支援するため、機構を実際に組立てることなく、各構成部品の動作をシミュレートする機能を有している。このようなシミュレーションの可能な三次元ＣＡＤシステムは、例えば特許文献１に開示されている。また、特許文献２において開示されているように、複数のＣＡＤシステムによって設計されたデータを使用して、動作シミュレーションを行いながら設計を行うことを可能にした三次元ＣＡＤシステムもある。
【０００３】
設計データの妥当性を検証するためにシミュレーションを行う際には、シミュレーションに対して種々のパラメータを設定する。例えば特許文献３に開示されているように、複数のシミュレーションモジュールに対する入力パラメータの設定をＧＵＩで設定するパラメータ設定方法がある。
【０００４】
一方、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）に関する研究が近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型表示装置）を用いることができる。
【０００５】
また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現される。
【０００６】
このような画像表示装置の応用として、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲーム等がある。この他にも、例えば、市街地を撮像することで得られる現実空間の画像中に含まれる著名な建造物等の名称や案内を仮想空間画像として重畳表示するナビゲーションがある。またこの他にも、例えば、ビルの建設予定地を撮像することで得られる画像中に建設予定のビルのコンピュータグラフィックス映像を重畳表示する景観シミュレーションがある。さらにこの他にも、例えば、三次元ＣＡＤシステムで設計されたデータと、設計データをもとに解析（ＣＡＥ：Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｅｎｇｉｎｅｅｒｉｎｇ）処理を行った結果とを、現実空間中に重畳表示する設計支援システムがある。このような設計支援システムは、例えば特許文献４に開示されている。以下では、このような画像表示装置を用いて、複合現実感を提示する空間を複合現実空間と表記し、一方、仮想現実感を提示する空間を仮想現実空間と表記する。
【０００７】
ところで、複合現実空間や仮想現実空間を観察者に提示する画像表示装置に対して、仮想空間に対して操作を行うためのユーザインターフェースは各種提案されている。例えば特許文献５に開示されているように、体験者の頭部の位置・姿勢の計測結果と体験者の所定部位の位置・姿勢の計測結果から体験者の意図するアクション情報を生成するユーザインターフェースがある。この他にも、例えば特許文献６に開示されているように、体験者の所定部位の位置・姿勢の計測結果から仮想物体の動作・内部状態を決定するユーザインターフェースがある。
【０００８】
以上の技術を組み合わせることで、三次元ＣＡＤなどで作成されたモデルをシミュレーションで動作させ、そのシミュレーション結果を現実空間に仮想空間画像として重畳表示することで、シミュレーション結果を確認することが可能となる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特登録０３８９７９４８号公報
【特許文献２】特開２００６−１９５９７１号公報
【特許文献３】特開２００６−２７７０８４号公報
【特許文献４】特開２００６−０４８２７１号公報
【特許文献５】特登録０３３７３２９６号公報
【特許文献６】特登録０３５１７６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、従来ではシミュレーションで用いるパラメータの追加や変更といった設定は、管面で行わなければならず、観察者が現実空間上で動作・操作することによって、シミュレーションのパラメータを設定することはできなかった。その結果として、仮想現実空間や複合現実空間上でシミュレーションを観察する際に、観察者が操作しても、シミュレーション結果に反映させることはできなかった。
【００１１】
そこで、本発明は、仮想現実空間上や複合現実空間上において、観察者の操作によってシミュレーションのパラメータの設定ができることを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明における画像処理装置は、仮想物体を含んだ仮想画像を生成する生成手段と、前記仮想画像を観察するユーザの所定部位と前記仮想物体とを検出する検出手段と、前記検出された前記ユーザの所定部位と前記仮想物体との重なり量を評価して、該評価される重なり量に応じて変化する前記仮想物体のシミュレーションを行うためのパラメータを決定し、該決定されるパラメータに基づいて、前記仮想物体の動作を制御する制御手段とを備える。
【発明の効果】
【００１３】
本発明によれば、実際に仮想物体に影響を与えている感覚で直感的にシミュレーションを操作・実行することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係るシステムの機能構成例を示すブロック図である。
【図２】画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図４】第１の実施形態でのシミュレーション結果の表示例を示す図である。
【図５】第２の実施形態でのシミュレーション結果の表示例を示す図である。
【図６】第２の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図７】第７の実施形態に係るシステムの機能構成例を示すブロック図である。
【図８】第７の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図９】第８の実施形態に係るシステムの機能構成例を示すブロック図である。
【図１０】第８の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図１１】第８の実施形態で物理パラメータを生成する例を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照しながら本発明の好適な実施形態について詳細に説明する。
【００１６】
＜実施形態１＞
図１は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、画像処理装置１３００と、磁気を発生させる磁気トランスミッタ１２００と、磁気センサー１１００と、頭部装着型表示装置の一例としてのＨＭＤ１０００と、で構成されている。ここで、画像処理装置１３００とＨＭＤ１０００とは互いにデータ通信が可能なように接続されている。従って、画像処理装置１２００とＨＭＤ１０００との間の接続は、有線、無線の何れであっても構わない。同様に、画像処理装置１３００と磁気トランスミッタ１２００との間の接続、および、画像処理装置１３００と磁気センサー１１００との間の接続も、有線、無線の何れであっても構わない。
【００１７】
先ず、ＨＭＤ１０００について説明する。
【００１８】
１０１０は液晶画面などで構成されている表示装置で、画像処理装置から送出された画像を表示する。表示装置１０１０はそれぞれ右目用と左目用とが設けられており、夫々は、ＨＭＤ１０００を頭部に装着した観察者の右目、左目の眼前に位置するように、ＨＭＤ１０００に取り付けられている。
【００１９】
１０２０は、磁気トランスミッタ１２００が発生させた磁場の変化を計測するためのＨＭＤ１０００の位置姿勢を計測する磁気センサーで、計測結果を画像処理装置１３００に入力する。
【００２０】
また、磁気センサー１１００は観察者の手に装着されている。磁気センサー１１００は、磁気センサー１０２０と同様に、磁気トランスミッタ１２００が発生させた磁場の変化を計測し、その計測結果を画像処理装置１３００に入力する。なお、本実施形態において、センサー１１００は本システムを使用するユーザの手に装着されているが、ユーザの指に装着しても良い。
【００２１】
次に、画像処理装置１３００について説明する。
【００２２】
位置姿勢算出部１３１０は、磁気センサー１０２０、１１００の計測結果を用いて、各磁気センサーの位置姿勢を算出し、データ記憶部１３５０に出力する。これにより、ＨＭＤ１０００と観察者の手の位置姿勢を計測することができる。
【００２３】
物理パラメータ生成部１３２０は、位置姿勢算出部１３１０で算出した位置姿勢情報を用いて物理パラメータを生成し、生成した物理パラメータをデータ記憶部１３５０に出力する。
【００２４】
シミュレータ部１３３０は、物理パラメータ生成部１３２０が生成した物理パラメータとデータ記憶部１３５０が保持している各種パラメータを用いて、各種シミュレーションを実施し、その結果をデータ記憶部１３５０に出力する。
【００２５】
画像生成部１３４０は、データ記憶部１３５０に格納されている仮想空間のデータに基づいて、仮想空間を構築する。仮想空間のデータには、シミュレータ部１３３０で行われたシミュレーション結果や、仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータが含まれる。そして画像生成部１３４０は、データ記憶部１３５０に格納されている位置姿勢情報が示す位置姿勢を有する視点を仮想空間中に設定する。そして、係る視点から見える仮想空間の画像（仮想空間画像）を生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については周知の技術であるので、これについての詳細な説明は省略する。
【００２６】
データ記憶部１３５０は、上述の通り、様々な情報を格納するためのものであり、ＲＡＭやハードディスクドライブ装置などにより構成されている。なお、データ記憶部１３５０には、上記説明においてデータ記憶部１３５０に格納するものとして説明した情報の他に、本実施形態において既知の情報として説明するものについても格納されているものとする。
【００２７】
図３は、画像処理装置１３００が、仮想空間画像を生成し、ＨＭＤ１０００に対して出力するために行う処理のフローチャートである。
【００２８】
先ず、ステップＳ３０１０では、位置姿勢算出部１３１０により、ＨＭＤ１０００の位置姿勢を算出する。
【００２９】
次に、ステップＳ３０２０では、位置姿勢算出部１３１０により、観察者の所定部位である手の位置姿勢を算出する。
【００３０】
次に、ステップＳ３０３０では、位置姿勢算出部１３１０で算出した観察者の所定部位である手の位置姿勢情報と仮想空間の物体の位置姿勢情報を用いて、物理パラメータ生成部１３２０により、シミュレータ部１３３０で使用する物理パラメータを生成する。
【００３１】
次に、ステップＳ３０４０では、物理パラメータ生成部１３２０が生成した物理パラメータを用いて、シミュレータ部１３３０がシミュレーションを行う。
【００３２】
次に、ステップＳ３０５０では、画像生成部１３４０は、ステップＳ３０１０で計算した位置姿勢情報が示す位置姿勢から見える仮想空間の画像を生成する。
【００３３】
次に、本処理の終了指示が入力された、若しくは本処理を終了する条件が満たされた場合には本処理を終了する。一方、本処理の終了指示は入力されてもいないし、本処理を終了する条件も満たされていない場合には、ステップＳ３０６０を介して、処理をステップＳ３０１０に戻す。
【００３４】
物理パラメータ生成部１３２０が生成するパラメータについては様々なパラメータが挙げられるが、以下ではその一例について説明する。
【００３５】
図４は、画像生成部１３４０が生成するシミュレーション結果を示す画像であり、物理パラメータ生成部１３２０が生成したパラメータによって、シミュレーション結果が変化することを示した図である。
【００３６】
４０１０は、仮想空間を表す画像であり、データ記憶部１３５０が保持している仮想空間をＨＭＤ１０００の位置姿勢から見た映像として画像生成部１３４０が描画する。４０２０は、モータであり、歯車４０５０とつながっている。４０４０、４０５０、４０６０、４０７０は、歯車であり、モータ４０２０とリンク機構を形成している。４０３０、４０９０は、歯車４０６０の動作している向きと速度を示したものであり、本実施形態の説明のために付加的に表記したものであって、実際には描画されない矢印である。また、図４（ａ）における歯車４０６０の動作速度が図４（ｂ）における歯車４０６０の動作速度よりも速いことを示している。４０８０は、観察者の手を表している仮想画像であり、位置姿勢算出部１３１０で算出した観察者の手の位置姿勢に描画される。
【００３７】
図４（ａ）では、シミュレータ部１３３０で計算された結果に従って、モータが動作し、歯車４０４０、４０５０、４０６０、４０７０が回転している。このとき、観察者の手を表す４０８０は動作している歯車と触れていないため、通常通りに歯車が動作している。
【００３８】
図４（ｂ）では、歯車４０６０に観察者の手を表す４０８０が重なっている様子を示したものである。このとき、物理パラメータ生成部１３２０は、観察者の手を表す４０８０の位置姿勢と歯車４０６０の位置姿勢から歯車４０６０の回転方向に対して鉛直方向への力をパラメータとして生成する。その生成した力パラメータを用いて、シミュレータ部１３３０はシミュレーションを実行する。その結果として、歯車４０６０の動作は図４（ａ）の場合と比べて回転速度が遅くなり、その様子がＨＭＤ１０００に表示される。
【００３９】
図４（ｃ）では、図４（ｂ）と同様に歯車４０６０に観察者の手を表す４０８０が重なっているが、観察者の手を表す４０８０と歯車４０６０との重なり具合が図４（ｂ）よりも大きい状態を示した図である。このとき、物理パラメータ生成部１３２０は、観察者の手を表す４０８０の位置姿勢と歯車４０６０の位置姿勢から、歯車４０６０の回転方向に対して鉛直方向への力を図４（ｂ）の場合と比べて大きな力をパラメータとして生成する。その生成した力パラメータを用いて、シミュレータ部１３３０がシミュレーションを実行する。その結果として、歯車４０６０の動作は停止した様子がＨＭＤ１０００に表示される。
【００４０】
＜実施形態２＞
上記実施形態では、シミュレーションが動作している仮想物体に対して付加的な物理パラメータを与えるものであったが、仮想物体に対する物理パラメータ自体を操作しても良い。以下では、その一例について説明する。
【００４１】
図５は、画像生成部１３４０が生成するシミュレーション結果を示す画像であり、物理パラメータ生成部１３２０が生成したパラメータによって、シミュレーション結果が変化することを示した図である。図４と同じ部分については同じ番号をつけており、その説明を省略する。
【００４２】
図５（ａ）では、モータが停止しており、観察者の手を表す４０８０がモータ４０２０と重なっていることを示す図である。
【００４３】
図５（ｂ）は、図５（ａ）の状態から観察者の手を表す４０８０が矢印５０１０のように動いた様子を示したものである。このとき、物理パラメータ生成部１３２０は、観察者の手を表す４０８０の位置姿勢とモータ４０２０の位置姿勢から矢印５０２０の方向の回転パラメータを生成する。その回転パラメータを用いて、シミュレータ部１３３０がシミュレーションを実行する。その結果として，図５（ｃ）の矢印５０３０、５０４０、５０５０、５０６０のように、歯車４０４０、４０５０、４０６０、４０７０が動作した様子が、ＨＭＤ１０００に表示される。
【００４４】
＜実施形態３＞
上記実施形態では、毎回頭部位置姿勢を計測していたが、例えば、ＨＭＤ１０００が固定されている場合には、毎回頭部位置姿勢を計測しなくても良い。この場合のフローチャートは図６となる。図３と同じ部分については同じ番号をつけており、その説明を省略する。
【００４５】
先ず、ステップＳ６０１０では、ＨＭＤ１０００の位置姿勢を設定する。このとき、ＨＭＤ１０００の位置姿勢の設定方法は、位置姿勢算出部１３１０で算出しても良いし、予め算出された位置姿勢の値をデータ記憶部１３５０から読み出しても良い。
【００４６】
次に、ステップＳ３０５０の後にステップＨＭＤ１０００の本処理の終了が入力された、若しくは本処理を終了する条件が満たされた場合には本処理を終了する。一方、本処理の終了指示は入力されてもいないし、本処理を終了する条件も満たされていない場合には、ステップＳ６０２０を介して、処理をステップＳ３０２０に戻す。
【００４７】
＜実施形態４＞
上記実施形態では、シミュレーションとして動作シミュレーションを用いたが、本発明はこれに限定されない。即ち、本発明の画像処理装置は、観察者の所定部位の位置姿勢情報からシミュレーションに対する物理パラメータを生成し、生成した物理パラメータを用いてシミュレーションを行う事ができれば、いかなるシミュレーションでも良い。
【００４８】
＜実施形態５＞
上記実施形態では、物理パラメータは仮想物体の位置姿勢と観察者の手の位置姿勢によって生成されていたが、本発明における観察者の所定部位は手だけに限定されない。即ち、物理パラメータを生成しシミュレーションに反映させる目的であれば、所定部位は手に限らず、指先、腕、肘、足、腿、膝、すね等の体の部位であっても良い。
【００４９】
また、観察者の所定部位は単一としていたが、本発明はこれに限定されない。即ち、例えば、頭と手の位置姿勢を所定部位としても良い、両手の位置姿勢を所定部位としても良いし、両足の位置姿勢を所定部位としても良い。さらに、例えば、モーションキャプチャー技術を用いて推定した部位を所定部位としても良い。
【００５０】
加えて、観察者の所定部位は人体の部位には限定されない。即ち、観察者の所定部位は、冶工具、装身具、履物等の物品を人体に対して装着や把持できる部位であっても良い。
【００５１】
さらに、上記実施形態では、位置姿勢センサーを観察者の手に装着することにより、観察者の手の位置姿勢を計測していたが、本発明は、位置姿勢センサーを観察者の所定部位に常に装着することに限定されない。即ち、位置姿勢センサーを観察者の所定部位から取り外した場合でも物理パラメータを生成しても良いし、位置姿勢センサーを観察者の所定部位から取り外した後に何らかの物体に装着した場合でも物理パラメータを生成しても良い。
【００５２】
＜実施形態６＞
上記実施形態では、仮想物体の位置姿勢と観察者の手の位置姿勢によってシミュレーションに用いる単一の物理パラメータを生成していたが、複数のパラメータを生成しても良い。例えば、図４において、力パラメータだけではなく、観察者の手のマテリアル情報や観察者の手と歯車との摩擦係数などを生成しても良い。また、時間的に連続かつ可変なパラメータを生成しても良い。
【００５３】
＜実施形態７＞
上記の実施形態では、ＨＭＤは観察者に仮想空間を提示する装置であったが、ＨＭＤは現実空間を透過して見ることができる光学シースルータイプのＨＭＤであっても良い。
【００５４】
また、現実空間を撮像して、撮像した現実空間の画像と仮想空間の画像を合成するビデオシースルータイプのＨＭＤであっても良い。図７は、ビデオシースルータイプのＨＭＤ７０００を利用した場合を示した図である。図１と同じ部分については同じ番号をつけており、その説明を省略する。
【００５５】
７０１０は、ビデオカメラなどの撮像装置であり、現実空間の動画像を撮像するものである。そして撮像装置７０１０は、撮像した動画像を構成する各フレームの画像（現実空間画像）を順次、画像処理装置７１００に対して送出する。撮像装置７０１０はそれぞれ右目用と左目用とが設けられており、それぞれ、ＨＭＤ７０００を頭部に装着した観察者の右目から見える現実空間の動画像、左目から見える現実空間の動画像を撮像する。
【００５６】
画像入力部７１１０は、撮像装置７０１０から送出された右目用の現実空間画像、左目用の現実空間画像を取得する。そして取得したそれぞれの現実空間画像をデータ記憶部１３５０に格納する。
【００５７】
画像合成部７１２０は先ず、自身が管理するメモリ上に、データ記憶部１３５０に格納されている現実空間画像を描画する。そして描画したこの現実空間画像上に、画像生成部７１２０が生成した仮想空間画像を重畳描画することで、係るメモリ上に現実空間画像と仮想空間画像との合成画像を生成する。そしてこの生成した合成画像をＨＭＤ７０００の表示装置１０１０に対して出力する。
【００５８】
図８は、画像処理装置７１００が、複合現実空間画像を生成し、ＨＭＤ７０００に対して出力するために行う処理のフローチャートである。図３と同じ部分については同じ番号をつけており、その説明を省略する。
【００５９】
先ず、ステップＳ８０１０では、画像入力部７１１０は、撮像装置７０１０から送出された現実空間画像（撮像結果）を取得（キャプチャ）する。
【００６０】
次に、ステップＳ８０２０では、画像合成部７１２０は、自身が管理するメモリ上に、ステップＳ８０１０で取得した現実空間画像を描画する。そして次に、画像合成部７１２０は上記メモリ上に描画した現実空間画像上に、画像生成部１３４０が生成した仮想空間画像を重畳描画することで、係るメモリ上に現実空間画像と仮想空間画像との合成画像を生成する。そして、この生成した合成画像をＨＭＤ７０００の表示装置７０１０に対して出力する。
【００６１】
＜実施形態８＞
上記の実施形態では、仮想物体の位置姿勢と観察者の手の位置姿勢によってシミュレーションに用いる物理パラメータを生成していたが、これらに加えて感圧センサーの情報も用いて物理パラメータを生成しても良い。図９は、画像処理装置９１００に感圧センサー９０００を利用した場合を示した図である。図７と同じ部分については同じ番号をつけており、その説明を省略する。
【００６２】
感圧センサー９０００は、圧力情報を計測し、その計測結果を画像処理装置９１００に出力する。また、感圧センサー９０００には磁気センサー９２００が装着されており、感圧センサー９０００の位置姿勢を計測する。
【００６３】
画像処理装置９１００におけるセンサー入力部９１１０は、感圧センサー９０００が計測した圧力情報を取得する。そして取得した圧力情報をデータ記憶部１３５０に格納する。
【００６４】
図１０は、画像処理装置９１００が、仮想現実空間画像を生成し、ＨＭＤ７０００に対して出力するために行う処理のフローチャートである。図８と同じ部分については同じ番号をつけており、その説明を省略する。
【００６５】
ステップＳ１００１０では、センサー入力部９１１０は、感圧センサー９０００から送出された圧力情報を取得する。
【００６６】
次に、ステップＳ１００２０では、観察者の手の位置姿勢と、仮想物体の位置姿勢と、感圧センサー９０００の位置姿勢と、ステップＳ１００１０で取得した圧力情報とを用いて、物理パラメータ生成部１３２０により、物理パラメータを生成する。
【００６７】
図１１は、感圧センサー９０００を用いて物理パラメータ生成部１３２０が物理パラメータを生成する例を示す図である。１１０１０はシミュレーションで使用する仮想物体である。１１０３０は観察者の所定部位である手を示したものである。
【００６８】
観察者の所定部位である手１１０３０が感圧センサー９０００を押すと、感圧センサー９０００は圧力を計測し、矢印１１０４０のような圧力を計測する。次に、手１１０３０の位置姿勢と仮想物体の位置姿勢から仮想物体１１０１０に対して入力する力パラメータの位置姿勢を決定する。次に、力パラメータの大きさとして、感圧センサー９０００が測定した圧力を設定することで、力パラメータ１１０５０が生成される。ここで、１１０４０、１１０５０は、本実施形態の説明のために付加的に表記したものであって、実際の複合現実空間画像には描画されなくても良い。
【００６９】
＜実施形態９＞
上記実施形態８では、感圧センサーを利用していたが、さらに感圧センサーの位置姿勢を計測し、感圧センサーの位置姿勢情報も用いて物理パラメータを生成しても良い。
【００７０】
＜実施形態１０＞
上記実施形態では、物理パラメータ生成部１３２０が生成するパラメータの生成方法は予め決められているが、パラメータの生成方法についてはこれに限定されない。オペレータが物理パラメータの生成に関する設定ファイルを対話的操作によって変更しても良いし、物理パラメータの生成方法を定めるＧＵＩを備えて、物理パラメータの生成方法を定めても良い。
【００７１】
＜実施形態１１＞
上記実施形態では、位置姿勢を計測するセンサーとして磁気センサーを用いたが、画像処理により位置姿勢を計測しても良い。また、赤外光を用いて位置姿勢を計測しても良いし、超音波を用いて位置姿勢を計測しても良いし、機械的に位置姿勢を計測しても良い。
【００７２】
＜実施形態１２＞
上記実施形態では、観察者は１人であったが、本発明は複数人の観察者によって行われても良い。
【００７３】
＜実施形態１３＞
上記実施形態では、図１や図７、図９に示した、画像処理装置１３００、７１００、９１００を構成する各部は全て、ハードウェアで構成されているとして説明した。しかし、その一部をソフトウェアで構成しても良い。その場合、残りの部分をハードウェアとして実装しているコンピュータに、このソフトウェアを実行させることで、このコンピュータは、上記実施形態で説明した画像処理装置１１００の動作を行うことになる。
【００７４】
図２は、画像処理装置１３００、７１００、９１００に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【００７５】
ＣＰＵ２００１は、ＲＡＭ２００２やＲＯＭ２００３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、上記各実施形態で画像処理装置１３００、７１００、９１００が行うものとして説明した上述の各処理を実行する。
【００７６】
ＲＡＭ２００２は、外部記憶装置２００７や記憶媒体ドライブ２００８からロードされたプログラムやデータを一時的に記憶するための領域を有する。更にＲＡＭ２００２は、Ｉ／Ｆ（インターフェース）２００９を介して外部から受信したデータ（図１の場合、磁気計測結果）を一時的に記憶するためのエリアを有する。このとき、外部とは磁気センサー１０２０、１１００、撮像装置７０１０および感圧センサー９０００を指す。また、外部から受信データとは、図１の場合、磁気計測結果、現実空間画像および圧力計測結果を指す。更に、ＲＡＭ２００２は、ＣＰＵ２００１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ２００２は、各種エリアを適宜提供することができる。例えば、ＲＡＭ２００２は、図１に示したデータ記憶部１３５０としても機能する。
【００７７】
ＲＯＭ２００３には、コンピュータの設定データやブートプログラムなどが格納されている。
【００７８】
キーボード２００４、マウス２００５は、操作入力装置の一例としてのものであり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ２００１に対して入力することができる。
【００７９】
表示部２００６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２００１による処理結果を画像や文字などで表示することができる。例えば、表示部２００６には、ＨＭＤ１０００の位置姿勢計測のために表示すべきメッセージなどを表示することができる。
【００８０】
外部記憶装置２００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２００７には、ＯＳ（オペレーティングシステム）や、画像処理装置１３００が行うものとして説明した上述の各処理をＣＰＵ２００１に実行させるためのプログラムやデータが格納されている。係るプログラムには、位置姿勢算出部１３１０、物理パラメータ１３２０、シミュレータ部１３３０、画像生成部１３４０、画像入力部７１１０、画像合成部７１２０、センサー入力部９１１０のそれぞれに対応するプログラムが含まれている。また、係るデータには、仮想空間のデータや、上述の説明において既知の情報として説明したものが含まれている。外部記憶装置２００７に保存されているプログラムやデータは、ＣＰＵ２００１による制御に従って、適宜ＲＡＭ２００２にロードされる。ＣＰＵ２００１はこのロードされたプログラムやデータを用いて処理を実行することで、画像処理装置１３００、７１００、９１００が行うものとして上述した各処理を実行することになる。なお、外部記憶装置２００７は、図１、図７、図９に示したデータ記憶部１３５０として用いても良い。
【００８１】
記憶媒体ドライブ２００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置２００７に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいても良い。記憶媒体ドライブ２００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置２００７やＲＡＭ２００２に対して出力される。
【００８２】
Ｉ／Ｆ２００９は、撮像装置７０１０を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、合成画像をＨＭＤ１０００の表示装置１０１０に対して出力するためのイーサネット（登録商標）ポートなどによって構成される。Ｉ／Ｆ２００９を介して受信したデータは、ＲＡＭ２００２や外部記憶装置２００７に入力される。なお、図７に示した画像入力部７０１０の機能の一部は、Ｉ／Ｆ２００９によって実現される。また、位置姿勢情報の取得にセンサシステムを用いる場合、このＩ／Ｆ２００９には、センサシステムを接続することになる。
【００８３】
２０１０は、上述の各部を繋ぐバスである。
【００８４】
＜その他の実施形態＞
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図示したフローチャートに対応したコンピュータ読み取り可能なプログラムである。
【００８５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【図１】
0005414380.tif 000002
【図２】
0005414380.tif 000003
【図３】
0005414380.tif 000004
【図４】
0005414380.tif 000005
【図５】
0005414380.tif 000006
【図６】
0005414380.tif 000007
【図７】
0005414380.tif 000008
【図８】
0005414380.tif 000009
【図９】
0005414380.tif 000010
【図１０】
0005414380.tif 000011
【図１１】
0005414380.tif 000012