(57)【特許請求の範囲】
【請求項１】
所定の画像を表示する携帯型ディスプレイと、
前記携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定手段と、
前記座標測定手段によって測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成手段と、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定手段により測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成手段によって生成された３次元仮想物体の画像を前記背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段と
を備え、
前記携帯型ディスプレイは、前記合成画像を表示する
ことを特徴とする３次元仮想物体表示装置。
【請求項２】
前記座標測定手段は、
前記基準面上に配置された磁界発生手段と、
前記撮像手段に配置された磁界検出手段と、
前記磁界検出手段による検出結果に基づいて、前記３次元空間座標を演算する演算手段と
を備えることを特徴とする請求項１に記載の３次元仮想物体表示装置。
【請求項３】
前記画像生成手段は、前記基準面上に、前記３次元仮想物体の影の画像を生成する
ことを特徴とする請求項１に記載の３次元仮想物体表示装置。
【請求項４】
前記３次元仮想物体を仮想的に把持し、前記３次元仮想物体に対して所定の操作を加える操作手段をさらに備え、
前記操作手段により、前記３次元仮想物体の前記基準面に対する移動が指示されたとき、前記画像生成手段は、前記撮像手段の撮像方向に沿って、前記３次元仮想物体が把持されたことを示す基準線の画像を生成し、前記操作手段の操作に従って、前記３次元仮想物体の画像が、前記基準線の先端が接した状態で前記基準面上を移動する画像を生成する
ことを特徴とする請求項１に記載の３次元仮想物体表示装置。
【請求項５】
少なくとも前記携帯型ディスプレイと、前記撮像手段と、前記座標測定手段と、前記操作手段とからなる複数組の表示装置に、前記画像生成手段によって生成された共通の３次元仮想物体の画像を表示し、前記操作手段が前記３次元仮想物体に対して行った操作による前記３次元仮想物体の前記基準面上での位置変化が、各表示装置に反映される
ことを特徴とする請求項１に記載の３次元仮想物体表示装置。
【請求項６】
所定の画像を表示する携帯型ディスプレイと、
前記携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と
を備える３次元仮想物体表示装置における３次元仮想物体表示方法において、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定ステップと、
前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成ステップと、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成ステップの処理で生成された３次元仮想物体の画像を前記背景の所定の位置に重畳させた合成画像を生成し、前記合成画像を前記携帯型ディスプレイに表示させる合成画像生成ステップと
を含むことを特徴とする３次元仮想物体表示方法。
【請求項７】
所定の画像を表示する表示手段と、
前記表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定手段と、
前記座標測定手段によって測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、前記基準面上に、前記３次元仮想物体の影の画像を生成する画像生成手段と、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定手段により測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成手段によって生成された前記３次元仮想物体の画像と、前記３次元仮想物体の影の画像とを前記背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段と
を備え、
前記表示手段は、前記合成画像を表示する
ことを特徴とする３次元仮想物体表示装置。
【請求項８】
前記表示手段は、携帯型ディスプレイである
ことを特徴とする請求項７に記載の３次元仮想物体常時装置。
【請求項９】
所定の画像を表示する表示手段と、
前記表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と
を備える３次元仮想物体表示装置における３次元仮想物体表示方法において、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定ステップと、
前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、前記基準面上に、前記３次元仮想物体の影の画像を生成する画像生成ステップと、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成ステップの処理で生成された前記３次元仮想物体の画像と、前記３次元仮想物体の影の画像とを前記背景の所定の位置に重畳させた合成画像を生成し、前記合成画像を前記携帯型ディスプレイに表示させる合成画像生成ステップと
を含むことを特徴とする３次元仮想物体表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元仮想物体表示装置および方法に関し、例えば、３次元仮想物体をあたかも現実世界に存在するかのように表示させるようにした３次元仮想物体表示装置および方法に関する。
【０００２】
【従来の技術】
近年、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ：仮想現実）の分野においては、非透過型の頭部搭載型ディスプレイを用いて、計算機によって生成された仮想世界の映像を表示し、この表示に対して、例えば手袋型入力装置やボディスーツ型入力装置などを用いて、仮想世界とインタラクションを行うことができるようになされている。これにより、通常経験することができないような仮想世界に、あたかも自分が存在するかのような雰囲気を楽しむことができる。
【０００３】
しかしながら、このように、非透過型の頭部搭載型ディスプレイにおいては、ディスプレイを通して見える映像中に、現実世界の映像が一切存在しないため、孤立感を強く感じたり、疲れやすい課題があった。また、仮想世界における作業を中断し、現実世界における作業を行うような場合、頭部搭載型ディスプレイを一旦取り外す必要があり、面倒である課題があった。
【０００４】
そこで、本出願人は、「特開平７−５９７８  入力装置」において、透過型の頭部搭載型ディスプレイに、仮想世界の映像を表示することを提案した。これにより、ユーザは、頭部搭載型ディスプレイの向こう側に実際に存在する現実世界と、頭部搭載型ディスプレイに表示された仮想世界の映像を同時に観察し、仮想世界の映像に対して所定の作業を行うことができる。例えば、仮想世界の映像として計算機の映像を表示し、指で計算機を操作することができる。指には位置を測定するセンサを装着しているので、指の位置が計算され、その位置に仮想的に存在する計算機のボタンが操作される。
【０００５】
このように、現実世界と仮想世界を同時に見ることができるので、孤立感を感じることなく、仮想世界における作業を行うことができる。また、現実世界を基礎とした状態において、仮想世界に対して所定の作業を行うことができるので、頭部搭載型ディスプレイを装着したままで、現実世界における作業と、仮想世界における作業とを並行して行うことが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、頭部搭載型ディスプレイを装着し、指にセンサを装着したままでは、通常の現実世界における作業が拘束される課題があった。例えば、頭部搭載型ディスプレイを装着すると、視野がある程度制限されたり、頭部に余分な負荷がかかる。また、指にセンサを装着すると、手作業がしにくくなる場合がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、簡単に仮想世界の映像を観察することができるようにし、現実世界の作業を継続しながら、仮想世界の作業を行うことができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第１の３次元仮想物体表示装置は、所定の画像を表示する携帯型ディスプレイと、携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定手段と、座標測定手段によって測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成手段と、撮像手段により撮像された実画像を背景とし、座標測定手段により測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成手段によって生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段とを備え、携帯型ディスプレイは、合成画像を表示することを特徴とする。
【０００９】
座標測定手段には、基準面上に配置された磁界発生手段と、撮像手段に配置された磁界検出手段と、磁界検出手段による検出結果に基づいて、３次元空間座標を演算する演算手段とを設けることができる。
【００１０】
画像生成手段は、基準面上に、３次元仮想物体の影の画像を生成することができる。
【００１１】
３次元仮想物体を仮想的に把持し、３次元仮想物体に対して所定の操作を加える操作手段をさらに設け、操作手段により、３次元仮想物体の基準面に対する移動が指示されたとき、画像生成手段に、撮像手段の撮像方向に沿って、３次元仮想物体が把持されたことを示す基準線の画像を生成し、操作手段の操作に従って、３次元仮想物体の画像が、基準線の先端が接した状態で基準面上を移動する画像を生成させることができる。
少なくとも携帯型ディスプレイと、撮像手段と、座標測定手段と、操作手段とからなる複数組の表示装置に、画像生成手段によって生成された共通の３次元仮想物体の画像を表示し、操作手段が３次元仮想物体に対して行った操作による３次元仮想物体の基準面上での位置変化が、各表示装置に反映されるようにすることができる。
本発明の、所定の画像を表示する携帯型ディスプレイと、携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段とを備える３次元仮想物体表示装置における第１の３次元仮想物体表示方法は、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定ステップと、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成ステップと、撮像手段により撮像された実画像を背景とし、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成ステップの処理で生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像を生成し、合成画像を携帯型ディスプレイに表示させる合成画像生成ステップとを含むことを特徴とする。
本発明の第１の３次元仮想物体表示装置および方法においては、所定の基準面に対する撮像手段の３次元空間座標が測定され、測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像が生成され、撮像手段により撮像された実画像を背景とし、測定された撮像手段の基準面に対する３次元空間座標に基づいて、生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像が生成され、合成画像が携帯型ディスプレイに表示される。
本発明の第２の３次元仮想物体表示装置は、所定の画像を表示する表示手段と、表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定手段と、座標測定手段によって測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像を生成する画像生成手段と、撮像手段により撮像された実画像を背景とし、座標測定手段により測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成手段によって生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段とを備え、表示手段は、合成画像を表示することを特徴とする３次元仮想物体表示装置。
表示手段は、携帯型ディスプレイであるようにすることができる。
本発明の、所定の画像を表示する表示手段と、表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段とを備える３次元仮想物体表示装置における第２の３次元仮想物体表示方法は、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定ステップと、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像を生成する画像生成ステップと、撮像手段により撮像された実画像を背景とし、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成ステップの処理で生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像を生成し、合成画像を携帯型ディスプレイに表示させる合成画像生成ステップとを含むことを特徴とする。
本発明の第２の３次元仮想物体表示装置および方法においては、所定の基準面に対する撮像手段の３次元空間座標が測定され、測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像が生成され、撮像手段により撮像された実画像を背景とし、測定された撮像手段の基準面に対する３次元空間座標に基づいて、生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像が生成され、合成画像が携帯型ディスプレイに表示される。
【００１２】
【発明の実施の形態】
図１は、本発明を応用した表示装置の構成例を示すブロック図である。携帯型ディスプレイ１（表示手段）は、ＬＣＤ（ｌｉｑｕｉｄ  ｃｒｉｓｔａｌ  ｄｉｓｐｌａｙ）等からなり、所定の画像、文字、図形等を表示するようになされている。ビデオカメラ２（撮像手段）は、携帯型ディスプレイ１の画面の裏面方向に撮像方向が向くように、携帯型ディスプレイ１に取り付けられている。
【００１３】
３次元位置方向センサ３（座標測定手段）は、携帯型ディスプレイ１またはビデオカメラ２に固定して取り付けられており、所定の基準面に対する携帯型ディスプレイ１およびビデオカメラ２の位置や傾き角等を測定するようになされている。例えば、テーブルの上面等を基準面とすることができる。ここでは、３次元位置方向センサ３が携帯型ディスプレイ１に固定して取り付けられている場合について示したが、３次元位置方向センサ３をビデオカメラ２に固定して取り付けるようにすることも可能である（図４、図５参照）。
【００１４】
操作用ボタン４（操作手段）は、所定の指令を行うとき操作され、操作に対応して所定の信号を出力するようになされている。
【００１５】
処理装置１１は、操作用ボタン４からの信号や、３次元位置方向センサ３からの位置方向信号に基づいて、３次元仮想物体の画像を生成し、ビデオカメラ２によって撮像された映像に重畳して、携帯型ディスプレイ１に表示させるようになされている。
【００１６】
処理装置１１を構成する入力操作部１２は、操作用ボタン４からの信号を入力するようになされている。カメラの位置および方向計測部１３は、３次元位置方向センサ３より供給される位置方向信号に基づいて、ビデオカメラ２の基準面上での位置、および撮像方向を計測し、位置データおよび方向データを出力するようになされている。
【００１７】
３次元データ生成部１４は、所定の形状モデルのデータ（形と色から構成される）を記憶し、適宜、出力するようになされている。透視変換マトリックス生成部１５（画像生成手段）は、透視変換のためのマトリックスを生成し、３次元データ生成部１４より出力された所定の形状モデルの形状モデルデータを、カメラの位置および方向計測部１３より出力された位置データおよび方向データに基づいて透視変換し、携帯型ディスプレイ１の所定の位置に所定の大きさで表示するようになされている。
【００１８】
また、透視変換マトリックス生成部１５は、透視変換した形状モデルの影の画像を、基準面上に位置するように生成するようになされている。
【００１９】
合成表示部１６（合成画像生成手段）は、ビデオカメラ２より供給されたビデオ信号と、透視変換マトリックス生成部１５より供給された透視変換された所定の形状モデルの画像とを合成し、携帯型ディスプレイ１に供給するようになされている。通信制御部１７は、入力操作部１２により入力された信号に対応する操作データや、３次元データ生成部１４が保持する形状モデルデータ等を、プロセス間通信等の通信手順によって、図１に示した装置と同様の構成の他の装置に供給したり、他の装置の入力操作部より出力された操作データや形状モデルデータ等を受信するようになされている。
【００２０】
上述したように、３次元位置方向センサ３は、基準面上での位置およびビデオカメラ２の撮像方向を検出し、カメラの位置および方向計測部１３は、ビデオカメラ２と所定の基準面との間の３次元（ｘ、ｙ、ｚ軸）上の相対的な位置、および姿勢（アジマス、エレベーション、ロール）を計算する。この３次元位置方向センサ３およびカメラの位置および方向計測部１３としては、例えば、Ｓｔｅｒｅｏ  Ｇｒａｐｈｉｃｓ社のＣｒｙｓｔａｌ  ＥＹＥＳ（商標）として商品化されている超音波を用いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡＣＥ（商標）として商品化している磁気を用いた装置を適用することができる。
【００２１】
図２は、磁気を用いて位置センサ２５（磁界検出手段）の位置を検出する３次元座標測定装置の構成例を示している。同図に示すように、３次元座標測定装置は、ソースコイル（直交コイル）２４（磁界発生手段）を有している。このソースコイル２４は、ｘ軸方向の磁界を発生するコイル２４ｘ、ｙ軸方向の磁界を発生するコイル２４ｙ、およびｚ軸方向の磁界を発生するコイル２４ｚにより構成されている。位置センサ２５も、ｘ軸方向の磁界を検出するコイル２５ｘ、ｙ軸方向の磁界を検出するコイル２５ｙ、およびｚ軸方向の磁界を検出するコイル２５ｚを有している。
【００２２】
３次元座標測定装置の位置計算部２２（演算手段）は、ドライブ回路２３を介してソースコイル２４の３つのコイルをそれぞれ時分割で駆動する。その結果、ｘ軸方向の磁界、ｙ軸方向の磁界、およびｚ軸方向の磁界が順次発生される。位置センサ２５の各コイルは、これらの各方向の磁界を検出し、その検出信号を検出回路２１に出力する。検出回路２１は、その検出信号を位置計算部２２に供給する。位置計算部２２は、検出回路２１より供給された検出信号を演算し、位置センサ２５の基準面（ソースコイル２４が配置された面）に対する３次元上の位置および姿勢を求める。
【００２３】
図２に示した３次元座標測定装置を、例えば図１のカメラの位置および方向計測部１３に適用し、ソースコイル２４を基準面となるテーブルの上に配置すると共に、位置センサ２５を３次元位置方向センサ３として適用することができる。これにより、携帯型ディスプレイ１の基準面（テーブルの上面）に対する３次元上の位置および姿勢を求めることができる。
【００２４】
次に、その動作について説明する。ビデオカメラ２により撮像された映像に対応するビデオ信号は、処理装置１１の合成表示部１６に供給される。また、３次元位置方向センサ３により計測されたビデオカメラ２の位置および方向に対応する位置方向信号は、カメラの位置および方向計測部１３に供給される。カメラの位置および方向計測部１３は、この計測データに基づいてビデオカメラ２の基準面に対する位置および撮像方向を演算により求め、演算結果としての位置データおよび方向データを透視変換マトリックス生成部１５に供給する。
【００２５】
ユーザにより、操作用ボタン４が操作され、所定の形状モデルを表示するように指令されると、入力操作部１２は、操作用ボタン４からの指令に従って、３次元データ生成部１４に対して、所定の形状モデルデータを出力するよう指令する。３次元データ生成部１４は、入力操作部１２より指令された所定の形状モデルデータを透視変換マトリックス生成部１５に供給する。この場合、例えば、心臓を表す形状モデルデータが透視変換マトリックス生成部１５に供給されたものとする。
【００２６】
透視変換マトリックス生成部１５は、カメラの位置および方向計測部１３から出力された位置データおよび方向データに基づいて、３次元データ生成部１４より供給された所定の形状モデルデータを透視変換することにより、３次元仮想物体の画像を生成し、合成表示部１６に供給する。さらに、透視変換マトリックス生成部１５は、生成した３次元仮想物体によって基準面（この場合、テーブル）上に現れる影の画像を生成し、合成表示部１６に供給する。
【００２７】
合成表示部１６は、ビデオカメラ２より供給された現実の映像に、透視変換マトリックス生成部１５より供給された３次元仮想物体の画像を重畳し、携帯型ディスプレイ１に供給する。
【００２８】
図３は、このようにして、携帯型ディスプレイ１に表示された画像を表している。同図に示すように、ビデオカメラ２によって撮影された現実の映像、即ち、この場合、基準面としてのテーブルと、相手側の手および表示装置が表示され、テーブルの上方に、３次元仮想物体としての心臓の画像（コンピュータグラフィックスによる画像）が表示される。さらに、テーブル上には、コンピュータグラフィックスの手法により生成された３次元仮想物体としての心臓の影の画像が表示される。
【００２９】
このように、携帯型ディスプレイ１に、現実の映像に３次元仮想物体の映像が重畳されて表示されるので、利用者は、３次元仮想物体が、あたかも現実世界に存在するかのように観察することができる。さらに、現実の床やテーブルの表面に対応する位置に、３次元仮想物体によってできた影を模擬した図形を表示することにより、実際に、３次元仮想物体の影がテーブル上に落ちているような表示を行うことができる。従って、利用者は、テーブルと影の関係から、３次元仮想物体の空間中における位置をより正確に把握することができる。
【００３０】
次に、操作用ボタン４を操作して、３次元仮想物体を、基準面（この場合、テーブル）に対して仮想的に移動させる場合の動作について説明する。
【００３１】
まず、利用者が、所定の操作用ボタン４を操作することにより、携帯型ディスプレイ１に表示された３次元仮想物体の移動を指示する。操作用ボタン４の操作に対応する信号は、入力操作部１２に供給され、３次元データ生成部１４を介して透視変換マトリックス生成部１５に供給される。
【００３２】
所定の操作用ボタン４を押下している間、表示装置の移動に拘らず、３次元仮想物体と表示装置の間の相対的な位置関係は固定される。即ち、透視変換マトリックス生成部１５は、カメラの位置および方向計測部１３より供給されるビデオカメラ２の位置データおよび方向データに対応して、３次元仮想物体が表示装置との間の相対的な位置関係が変化しないように、透視変換を行う。
【００３３】
例えば、図４（ａ）に示すように、３次元仮想物体が基準面としてのテーブルのほぼ中央に表示された状態で、操作ボタン４を押下して移動操作の開始を指示した後、例えば、表示装置をテーブルの中央に向けて移動させると、それに伴って、図４（ｂ）に示すように、３次元仮想物体はテーブルのほぼ中央から端の方に向かって仮想的に移動する。そのとき、表示装置と３次元仮想物体との間の相対的な位置関係は変化しない。このようにして、３次元仮想物体を、空間上の任意の場所に位置づけることができる。また、その際、テーブル上に表示される３次元仮想物体の影が、いま、３次元仮想物体がどこにあるかを把握する上での有効な手がかりとなる。
【００３４】
次に、操作用ボタン４を離すと、３次元仮想物体は、基準面（テーブル）との間の相対的な位置関係が固定された状態となる。これにより、３次元仮想物体の空間上での位置を確定することができる。従って、図４（ｃ）に示すように、操作用ボタン４を離した後、表示装置を手前に動かすと、表示装置と３次元仮想物体との間の距離は大きくなり、それに伴って、携帯型ディスプレイに表示される３次元仮想物体の大きさは、小さくなる。
【００３５】
ところで、３次元データ（形状モデルデータ）は、プロセス間通信等の通信手段を用いて、複数の表示装置間で共有することができる。これにより、図５に示すように、所定の会議に参加した複数の参加者が同一の形状モデルデータに対応する同一の３次元仮想物体を観察したり、それを移動させたりすることができる。このとき、各参加者が有する表示装置の携帯型ディスプレイ１には、３次元仮想物体の他に、ビデオカメラ２によって撮影された他の参加者の映像が表示されることになる。
【００３６】
即ち、参加者Ａの携帯型ディスプレイ１には、テーブルと参加者Ｂが背景の映像として表示され、３次元仮想物体がテーブルの中央に表示され、その影がテーブル上の所定の位置に表示される。また、参加者Ｂの携帯型ディスプレイ１には、テーブルと参加者Ａが背景の映像として表示され、３次元仮想物体がテーブルの中央に表示され、その影がテーブル上の所定の位置に表示される。
【００３７】
図６は、例えば、参加者Ａが、携帯型ディスプレイ１に表示されたテーブル上の３次元仮想物体、この場合、コンピュータグラフィックスによって表示されたヘリコプターを掴み、所定の場所に移動させている様子を表している。携帯型ディスプレイ１の上部に表示された球体は、ヘリコプターを掴むための視標となるものであり、人間の手に相当するものである。即ち、この視標を所定の３次元仮想物体に携帯型ディスプレイ１の画面上で接触させることにより、その３次元仮想物体を仮想的に掴むことができるようになされている。
【００３８】
図７は、図６に示したように、参加者Ａが、３次元仮想物体としてのヘリコプターを掴んで移動させているとき、参加者Ｂの携帯型ディスプレイ１の表示画面に表示される画像を表している。ここには、参加者Ａと参加者Ａが持っている表示装置、およびテーブルが現実の映像として表示され、３次元仮想物体としてのヘリコプターがテーブルの上に表示されている。そして、参加者Ａが持つ表示装置とヘリコプターの間に所定のビームが表示される。このビームは、参加者Ａがヘリコプターを掴んでいることを示すためのものである。
【００３９】
参加者Ａがヘリコプターを所定の場所に移動させる間、参加者Ａの表示装置からヘリコプターに向けて、所定のビームが表示され、参加者Ａが、表示装置を移動させるのに伴って、ヘリコプターおよびビームが、参加者Ａが持つ表示装置との間の相対的な位置関係が変化しないように移動する。
【００４０】
このように、ある参加者が３次元仮想物体を掴んでいるとき、その参加者が持つ表示装置から、所定のビームが３次元仮想物体に向けて照射されている画像が表示されるので、他の参加者は、いま誰が３次元仮想物体を掴んでいるかを認識することができる。
【００４１】
図８は、携帯型ディスプレイに、所定の分子モデルを表示し、操作している様子を表している。ここで、分子モデルの所定の部分の詳細な構造を観察するために、携帯型ディスプレイ１を分子モデルに近づけると、図９に示すように、携帯型ディスプレイ１を分子モデルに近づけた距離に応じて、分子モデルの所定の部分を構成する原子が拡大されて表示される。このようにして、観察対象である３次元仮想物体の所定の部分を容易に拡大して表示させることができる。
【００４２】
なお、上記実施例においては、参加者が２人の場合について説明したが、３以上の多数の参加者がいる場合についても、同様に、３次元データを共有することができる。
【００４３】
なお、上記実施例においては、３次元仮想物体を掴んでいることを表すために、所定の球体やビームを表示させるようにしたが、球体やビームに限定されるものではなく、それ以外の所定の形状の物体や図形等を表示させるようにすることも可能である。
【００４４】
また、上記実施例においては、３次元仮想物体を移動させる場合について説明したが、３次元仮想物体を回転させたり、その一部の形状を変更したりするような操作を３次元仮想物体に対して施すようにすることも可能である。
【００４５】
【発明の効果】
本発明によれば、簡単かつ迅速に、現実世界の画像に仮想世界の画像が重畳された合成画像を観察することができ、現実世界での通常の作業を継続しながらでも、仮想世界での作業を容易に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を応用した表示装置の構成例を示すブロック図である。
【図２】３次元座標測定装置の構成例を示すブロック図である。
【図３】現実世界の映像に３次元仮想物体の映像が重畳された映像の表示例を示す図である。
【図４】３次元仮想物体を掴んで移動させる様子を示す図である。
【図５】複数の参加者が同一の３次元データを共有している様子を示す図である。
【図６】自分が３次元仮想物体を掴んで操作しているときの表示例を示す図である。
【図７】相手が３次元仮想物体を掴んで操作しているときの表示例を示す図である。
【図８】３次元仮想物体として分子モデルを表示させたときの表示例を示す図である。
【図９】分子モデルに表示装置を近づけたときの表示例を示す図である。
【符号の説明】
１  携帯型ディスプレイ，２  ビデオカメラ，３  ３次元位置方向センサ，４操作用ボタン，１１  処理装置，１２  入力操作部，１３  カメラの位置および方向計測部，１４  ３次元データ生成部，１５  透視変換マトリックス生成部，１６  合成表示部，１７  通信制御部，２１  検出回路，２２  位置計算部，２３  ドライブ回路，２４  ソースコイル，２５  位置センサ
【図１】
0003558104.tif 000002
【図２】
0003558104.tif 000003
【図３】
0003558104.tif 000004
【図４】
0003558104.tif 000005
【図５】
0003558104.tif 000006
【図６】
0003558104.tif 000007
【図７】
0003558104.tif 000008
【図８】
0003558104.tif 000009
【図９】
0003558104.tif 000010