(57)【要約】【課題】  複数の部品で構成されている仮想物体や、各部品をより簡便な操作でもって観察する為の技術を提供すること。【解決手段】  部品５００〜５０３をマニピュレータ３００，３０１の何れかに関連付け、それぞれの部品５００〜５０３の初期位置姿勢を、関連付けたマニピュレータの位置姿勢を基準とする座標系における位置姿勢に変換して配置し、外部指示が入力された場合、部品５０３の位置姿勢を、部品５０２の位置姿勢を基準とする座標系Ｃ３における位置姿勢に移動させる。【選択図】    図９
2005267554.tif 000002
【特許請求の範囲】
【請求項１】
現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する保持工程と、
前記それぞれの部品を、観察者が操作する複数のセンサの何れかに関連付ける関連付け工程と、
前記複数のセンサのそれぞれの位置姿勢を求める計算工程と、
同じセンサに関連付けられた部品の初期位置姿勢を、当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する変換工程と、
前記変換工程による変換後の位置姿勢でもって部品を配置する配置工程と、
外部指示が入力された場合、第１のセンサに関連付けられた第１の部品の位置姿勢を、当該第１のセンサとは異なる第２のセンサに関連付けられた第２の部品の位置姿勢を基準とする座標系における位置姿勢に移動させる移動制御工程と
を備えることを特徴とする画像処理方法。
【請求項２】
前記移動制御工程では、前記第１のセンサの位置姿勢を基準とする座標系から、前記第２の部品の位置姿勢を基準とする座標系への変換情報を求め、求めた当該情報を用いて、前記第１の部品の位置姿勢を移動させることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記それぞれの部品は、互いに親子関係を有し、且つ互いの位置姿勢関係が木構造で表現されることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
第１および第２のセンサのそれぞれに対応づけられている第１および第２の仮想物体を現実空間に重畳させて観察者に提示する画像処理方法であって、
前記第１および第２のセンサのそれぞれの位置姿勢である第１および第２の位置姿勢情報を取得する位置姿勢情報取得工程と、
前記第１および前記第２の位置姿勢情報を用いて、前記第１および前記第２の仮想物体の画像を生成する生成工程とを有し、
前記第１の仮想物体と前記第２の仮想物体とを所定の位置関係で組み合わせることを指示された場合は、前記第２の位置姿勢情報を基準とする座標系を前記第１の位置姿勢情報を基準とする座標系に合わせるための変換情報を設定し、
前記第２の位置姿勢情報を前記変換情報を用いて変換し、該設定された位置姿勢情報に基づき前記第２の仮想物体の画像を生成することを特徴とする画像処理方法。
【請求項５】
前記第１のセンサと前記第２のセンサを所定の位置関係で組み合わせた場合に、前記第１の仮想物体と前記第２の仮想物体とを所定の位置関係で組み合わせることが指示されたと判断することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第１および前記第２の仮想物体の位置姿勢関係は木構造で管理されており、
前記変換情報は、前記木構造における前記第２の仮想物体の位置姿勢に関する部分に含まれることを特徴とする請求項４又は５に記載の画像処理方法。
【請求項７】
前記第１のセンサと前記第２のセンサが所定の位置関係で組み合わせられていない場合は、
前記変換情報として単位行列が設定されることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記第１のセンサと前記第２のセンサの所定の位置関係での組み合わせは、前記第１のセンサと前記第２のセンサの相対的移動および、または回転に制約をかけることを特徴とする請求項４に記載の画像処理方法。
【請求項９】
現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する保持手段と、
前記それぞれの部品を、観察者が操作する複数のセンサの何れかに関連付ける関連付け手段と、
前記複数のセンサのそれぞれの位置姿勢を求める計算手段と、
同じセンサに関連付けられた部品の初期位置姿勢を、当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する変換手段と、
前記変換手段による変換後の位置姿勢でもって部品を配置する配置手段と、
外部指示が入力された場合、第１のセンサに関連付けられた第１の部品の位置姿勢を、当該第１のセンサとは異なる第２のセンサに関連付けられた第２の部品の位置姿勢を基準とする座標系における位置姿勢に移動させる移動制御手段と
を備えることを特徴とする画像処理装置。
【請求項１０】
現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する保持手段と、
前記それぞれの部品を、観察者が操作する複数のセンサの何れかに関連付ける関連付け手段と、
前記複数のセンサのそれぞれの位置姿勢を求める計算手段と、
前記複数のセンサのそれぞれを互いに所定の位置姿勢関係となるように固定した状態で同じセンサに関連付けられた部品の初期位置姿勢を当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する際に、全ての部品間で初期の位置姿勢関係を維持するように変換する為の変換情報を求める計算手段と、
同じセンサに関連付けられた部品の初期位置姿勢を、当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する際に、前記変換情報を用いて変換する変換手段と、
前記変換手段による変換後の位置姿勢でもって部品を配置する配置手段と
を備えることを特徴とする画像処理装置。
【請求項１１】
コンピュータに請求項１乃至８の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納し、コンピュータ読みとり可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間に、仮想空間の画像を重畳させて表示する為の技術に関するものである。
【背景技術】
【０００２】
複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供する為のものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察を可能とするものである。
【０００３】
一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。この場合、３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３Ｄ−ＣＧとして計算機の画面上に表示して視覚的に評価する方法等がある。
【０００４】
また、上記両方の技術を組み合わせて、マニピュレータで３ＤＣＧのデータを観察する方法がある。
【特許文献１】特開２０００−３５０８５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、３次元ＣＡＤデータを３Ｄ−ＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。また対象となるＣＡＤ物体を様々な方向から観察するのに、マウス等のポインティングデバイスを用いるために、物体の位置や姿勢、さらには観察者の視点や視線を変更するのに複雑な操作が必要であり、多くの時間を費やすことになっていた。
【０００６】
さらに、３ＤＣＧデータをマニピュレータに関連付けて、パーツごとの自由な動きの表示をすることができるが、かえって、３ＤＣＧデータを複数のマニピュレータに関連付けしたあとの状態で、３ＤＣＧデータのパーツを元の構成で表示するのが困難であるという問題があった。
【０００７】
本発明は以上の問題に鑑みてなされたものであり、複数の部品で構成されている仮想物体や、各部品をより簡便な操作でもって観察可能とする為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【０００９】
すなわち、現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する保持工程と、
前記それぞれの部品を、観察者が操作する複数のセンサの何れかに関連付ける関連付け工程と、
前記複数のセンサのそれぞれの位置姿勢を求める計算工程と、
同じセンサに関連付けられた部品の初期位置姿勢を、当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する変換工程と、
前記変換工程による変換後の位置姿勢でもって部品を配置する配置工程と、
外部指示が入力された場合、第１のセンサに関連付けられた第１の部品の位置姿勢を、当該第１のセンサとは異なる第２のセンサに関連付けられた第２の部品の位置姿勢を基準とする座標系における位置姿勢に移動させる移動制御工程と
を備えることを特徴とする。
【００１０】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１１】
すなわち、第１および第２のセンサのそれぞれに対応づけられている第１および第２の仮想物体を現実空間に重畳させて観察者に提示する画像処理方法であって、
前記第１および第２のセンサのそれぞれの位置姿勢である第１および第２の位置姿勢情報を取得する位置姿勢情報取得工程と、
前記第１および前記第２の位置姿勢情報を用いて、前記第１および前記第２の仮想物体の画像を生成する生成工程とを有し、
前記第１の仮想物体と前記第２の仮想物体とを所定の位置関係で組み合わせることを指示された場合は、前記第２の位置姿勢情報を基準とする座標系を前記第１の位置姿勢情報を基準とする座標系に合わせるための変換情報を設定し、
前記第２の位置姿勢情報を前記変換情報を用いて変換し、該設定された位置姿勢情報に基づき前記第２の仮想物体の画像を生成することを特徴とする。
【００１２】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１３】
すなわち、現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する保持手段と、
前記それぞれの部品を、観察者が操作する複数のセンサの何れかに関連付ける関連付け手段と、
前記複数のセンサのそれぞれの位置姿勢を求める計算手段と、
同じセンサに関連付けられた部品の初期位置姿勢を、当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する変換手段と、
前記変換手段による変換後の位置姿勢でもって部品を配置する配置手段と、
外部指示が入力された場合、第１のセンサに関連付けられた第１の部品の位置姿勢を、当該第１のセンサとは異なる第２のセンサに関連付けられた第２の部品の位置姿勢を基準とする座標系における位置姿勢に移動させる移動制御手段と
を備えることを特徴とする。
【００１４】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１５】
すなわち、現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する保持手段と、
前記それぞれの部品を、観察者が操作する複数のセンサの何れかに関連付ける関連付け手段と、
前記複数のセンサのそれぞれの位置姿勢を求める計算手段と、
前記複数のセンサのそれぞれを互いに所定の位置姿勢関係となるように固定した状態で同じセンサに関連付けられた部品の初期位置姿勢を当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する際に、全ての部品間で初期の位置姿勢関係を維持するように変換する為の変換情報を求める計算手段と、
同じセンサに関連付けられた部品の初期位置姿勢を、当該センサの位置姿勢を基準とする座標系における位置姿勢に変換する際に、前記変換情報を用いて変換する変換手段と、
前記変換手段による変換後の位置姿勢でもって部品を配置する配置手段と
を備えることを特徴とする。
【発明の効果】
【００１６】
本発明の構成により、複数の部品で構成されている仮想物体や、各部品をより簡便な操作でもって観察することができる。
【発明を実施するための最良の形態】
【００１７】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１８】
［第１の実施形態］
本実施形態では、３Ｄ−ＣＡＤで生成された３ＤＣＧデータは複数の部品（パーツ）により構成されており、それぞれの部品を、複数のマニピュレータのうちの何れかでもって操作する。その際に、マニピュレータ間の相対的な位置関係情報とそれぞれの部品との相対的な位置関係情報（アッセンブリ）をもとに座標変換オフセットを算出し、パーツの一部または全体を元位置での表示と観察を容易とした複合現実感システムを示す。
【００１９】
図１は、本実施形態に係る複合現実感システムの外観構成を示す図である。
【００２０】
１００は観察者が頭部に装着して現実空間と仮想空間とを合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ、ＨＭＤ：Head Mounted Displayなどと呼ばれるもの）である。頭部装着型映像入出力装置１００は、右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂ、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂ、磁気センサ２０１により構成されている。
【００２１】
右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂは、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目から見える現実空間の映像（動画像）を撮像するためのものである。なお、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂは配置位置が異なるのみで、基本的には同じ装置であるので、特に右目用映像入力装置１０２ａ、もしくは左目用映像入力装置１０２ｂに特化した説明ではない限り、これらをまとめて映像入力装置１０２と呼称する場合がある。
【００２２】
右目用映像表示装置１０１ａは、右目用映像入力装置１０２ａが撮像した映像上に情報処理装置４００によって仮想空間の画像を合成した画像（複合現実空間画像）を表示する。左目用映像表示装置１０１ｂは、左目用映像入力装置１０２ｂが撮像した映像上に情報処理装置４００によって仮想空間の画像を合成した画像を表示する。なお、右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂは配置位置が異なるのみで、基本的には同じ装置であるので、特に右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂに特化した説明ではない限り、これらをまとめて映像表示装置１０１と呼称する場合がある。
【００２３】
磁気センサ２０１は、取り付けられた位置における磁気の変化を計測する。この磁場は、磁気トランスミッタ２００により発生されるものである。磁気センサ２０１が計測した結果は信号として位置姿勢計測装置２０５に出力される。位置姿勢計測装置２０５はこの信号に基づいて、磁気トランスミッタ２００の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系（センサ座標系）における磁気センサ２０１の位置姿勢を求める。
【００２４】
このような位置姿勢を求める一連の処理は周知のものであるので、これ以上の説明は省略する。
【００２５】
以上の処理によって位置姿勢計測装置２０５により求められた「磁気センサ２０１のセンサ座標系における位置姿勢」を示すデータは、後段の情報処理装置４００に出力される。
【００２６】
また、３００、３０１はそれぞれ、観察者が手にもって操作するマニピュレータであり、仮想物体を構成する各部品は後述の処理により、このマニピュレータ３００、３０１の何れかに関連付けられる。そして関連付けられた部品は、マニピュレータ３００、３０１の位置姿勢の変化と共に、その位置姿勢を変化させる。これにより、観察者がマニピュレータ３００を手に持って動かすと、関連付けられた部品もそれに応じてその位置姿勢を変化させるので、観察者は、部品をあらゆる方向から観察することができる。マニピュレータ３００、３０１を用いた部品の観察についてのより詳細な説明は省略する。
【００２７】
また、マニピュレータ３００，３０１にはそれぞれ、磁気センサ２０１と同様のセンサ２０２，２０３が組み込まれている。磁気センサ２０２，２０３は磁気センサ２０１と同様に、磁気トランスミッタ２００が発生させている磁気の変化を計測するものであり、計測した結果は信号として位置姿勢計測装置２０５に出力される。従って、位置姿勢計測装置２０５は上記同様の処理を行うことにより、磁気センサ２０２，２０３のセンサ座標系における位置姿勢を求め、後段の情報処理装置４００に出力する。
【００２８】
以上のようにして、情報処理装置４００には、磁気センサ２０１、２０２，２０３のセンサ座標系における位置姿勢を示すデータが入力されることになる。
【００２９】
なお、マニピュレータ３００、３０１には更に、不図示のボタンが備わっている。このボタンが押下されると、その旨を示す信号が後段の情報処理装置４００に出力される。このボタンの使用目的については後述する。
【００３０】
３０２は３ＤＣＧデータを観察するための台である。
【００３１】
４００は情報処理装置であり、一般的には例えばＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等により構成されるコンピュータである。
【００３２】
図１６は、情報処理装置４００の基本構成を示す図である。
【００３３】
１６０１はＣＰＵで、ＲＡＭ１６０２やＲＯＭ１６０３に格納されているプログラムやデータを用いて情報処理装置４００全体の制御を行うと共に、Ｉ／Ｆ１６０７に接続される外部装置とのデータ通信の制御を行う。また、情報処理装置４００が行うべき処理として後述する各処理を行う。
【００３４】
１６０２はＲＡＭで、外部記憶装置１６０５からロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ１６０１が各種の処理を実行する際に必要なワークエリアも備える。
【００３５】
１６０３はＲＯＭで、ブートプログラムや情報処理装置４００の設定データなどを格納する。
【００３６】
１６０４は操作部で、キーボードやマウス、ジョイスティックなどにより構成されており、各種の指示をＣＰＵ１６０１に対して入力することができる。
【００３７】
１６０５は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）やＣＰＵ１６０１に、後述する各処理を実行させるためのプログラムやデータ等が保存されており、これらの一部、もしくは全部は、ＣＰＵ１６０１の制御により、ＲＡＭ１６０２にロードされる。また、後述の説明で、既知のデータ（情報）として説明するものもまたこの外部記憶装置１６０５に保存されており、必要に応じてＣＰＵ１６０１の制御により、ＲＡＭ１６０２にロードされる。
【００３８】
１６０６は表示部で、ＣＲＴや液晶画面等により構成されており、画像や文字による各種の情報を表示することができる。
【００３９】
１６０７はＩ／Ｆで、ここに上記位置姿勢計測装置２０５、頭部装着型映像入出力装置１００、磁気センサ２０１等が接続されており、このＩ／Ｆ１６０７を介して、情報処理装置４００は位置姿勢計測装置２０５、頭部装着型映像入出力装置１００、磁気センサ２０１等とのデータ通信を行うことができる。
【００４０】
１６０８は上述の各部を繋ぐバスである。
【００４１】
以上の構成を備える情報処理装置４００は、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂそれぞれから得られる現実空間の画像を取り込むとと共に、磁気センサ２０１から得られる位置姿勢に基づいて右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂから見える仮想物体の画像を生成する。そして、生成した画像を、先に取り込んだ現実空間の画像上に重畳させ、重畳させた画像を右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂに出力する。これにより、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置姿勢に対応した複合現実空間画像が表示されることになる。
【００４２】
なお、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目に対応した複合現実空間の画像を生成して提示するための一連の処理については周知の技術であるので、これに関する詳細な説明は省略する。
【００４３】
図２は、頭部装着型映像入出力装置１００の構成を示す図である。
【００４４】
１０１は映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。このような構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。
【００４５】
１０２は映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能である。
【００４６】
図３は、情報処理装置４００の機能構成を示す図である。
【００４７】
４０１Ｒ、４０１Ｌは映像キャプチャ部であり、それぞれ映像入力装置１０２ａ、１０２ｂより入力した映像データをデジタル信号として取り込む。
【００４８】
４０４は位置姿勢情報入力部であり、位置姿勢計測装置２０５から出力されたデータを取り込む。
【００４９】
４０６は、仮想空間を構成する仮想物体の画像を生成するためのデータ（３ＤＣＧ描画データ）である。３ＤＣＧ描画データには、仮想物体の幾何学形状や色を示すデータ、テクスチャデータなどが含まれる。
【００５０】
４０８は、マニピュレータ３００と３０１に搭載されているボタンの状態（押されている・押されていない）を検出するボタン情報入力部である。本実施形態ではボタン情報入力部４０８は、マニピュレータ３００と３０１に搭載されているボタンの状態を検知するものとするが、これに限定するものではなく、情報処理装置４００の操作部１６０４に含まれるマウスのボタンの押下状態を検知するものとしても良い。すなわち、情報処理装置４００に対して、特定の指示が入力された場合に、これを検知する目的であれば、ボタン情報入力部４０８が検出する情報はどのような入力形態でもって入力されても良いし、検出する情報は如何なる情報であっても良い。
【００５１】
４０５は位置姿勢算出部であり、位置姿勢情報入力部４０４からの入力データをもとに、映像入力装置１０２とマニピュレータ３００と３０１の相対的な位置関係を算出する。
【００５２】
４０７はＣＧレンダリング部で、位置姿勢算出部４０５で算出した相対的な位置関係とボタン情報入力部４０８の入力データをもとに、マニピュレータの位置に、マニピュレータの姿勢でもって仮想物体を配置した場合に、右目用映像入力装置１０２ａの位置姿勢に応じて見える仮想物体の映像、左目用映像入力装置１０２ｂの位置姿勢に応じて見える仮想物体の映像を、３ＤＣＧ描画データを用いて生成（レンダリング）する。なお、所定の位置姿勢を有する視点から見える仮想物体の映像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。
【００５３】
４０２Ｒ、４０２Ｌはそれぞれ、映像キャプチャ部４０１Ｒ、４０１Ｌから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成した右目用映像入力装置１０２ａの位置姿勢に応じて見える仮想物体の映像、左目用映像入力装置１０２ｂの位置姿勢に応じて見える仮想物体の映像を重畳させ、それぞれ、映像生成部４０３Ｒ、４０３Ｌに出力する。これにより、右目用映像入力装置１０２ａの位置姿勢に応じて見える複合現実空間の画像、左目用映像入力装置１０２ｂの位置姿勢に応じて見える複合現実空間の画像を生成することができる。尚、重畳処理の際、現実空間の画像において、「手」の領域以外の領域のみを仮想空間の画像を重畳可能な領域とする。
【００５４】
すなわち、本実施形態では、現実空間の画像において「手」の領域には仮想空間の画像は重畳させないものとするが、この処理は必須なものではない。
【００５５】
映像生成部４０３Ｒ、４０３Ｌはそれぞれ、映像合成部４０２Ｒ、４０２Ｌから出力された複合現実空間の画像をアナログデータに変換し、それぞれ右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂに映像信号として出力する。これにより、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置（厳密には映像入出力装置の位置）に対応した複合現実空間の画像が表示される。
【００５６】
以上説明した、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図４を参照して説明する。
【００５７】
先ず、仮想空間の画像を描画するために用いる３ＤＣＧ描画データを生成するための処理手順について、同図の左側を参照して説明する。
【００５８】
通常、３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合には、３Ｄ−ＣＡＤのデータは、それぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１１１０）。本複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成して、３Ｄ−ＣＡＤデータの操作と観察を可能にする。
【００５９】
生成された３ＤＣＧ描画データ４０６は、情報処理装置４００の外部記憶装置１６０５に保存しておき、必要に応じてＲＡＭ１６０２にロードする。
【００６０】
次に、複合現実感システムが行う、この３ＤＣＧ描画データ４０６を用いて仮想空間の画像（仮想物体の画像）を生成し、現実空間の画像に重畳させて観察者に提示する処理について、同図右側を参照して説明する。
【００６１】
マニピュレータ３００、３０１に備わっている磁気センサ２０２，２０３は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気センサ２０２、２０３の位置姿勢（マニピュレータ３００、３０１の位置姿勢）を示すデータを情報処理装置４００に出力する（２０１０）。
【００６２】
同様に、磁気センサ２０１は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気センサ２０１の位置姿勢を示すデータを情報処理装置４００に出力する（２０２０）。
【００６３】
一方、マニピュレータ３００、３０１は、自身に備わっているボタンが押下されているか否かを検知し、その旨を示す情報（押下されているか否かを示す情報）を情報処理装置４００に出力する（２０１５）。
【００６４】
以上の処理で情報処理装置４００に出力されたデータ（情報）は、ＲＡＭ１６０２に記憶される。
【００６５】
情報処理装置４００のＣＰＵ１６０１は、上述の通り、右目用映像入力装置１０２ａとマニピュレータ（３００、３０１）との位置姿勢関係、左目用映像入力装置１０２ｂとマニピュレータ（３００、３０１）との位置姿勢関係を求める。そして、マニピュレータの位置に、マニピュレータの姿勢でもって仮想物体を配置した場合に、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂそれぞれからの仮想物体の見え方を求める（２０３０）のであるが、マニピュレータの位置に、マニピュレータの姿勢でもって配置される仮想物体は、このマニピュレータに備わっているボタンが押下されている場合、その配置位置、姿勢を変化させる。この配置位置、姿勢の変化については後述する。
【００６６】
一方、上記２０１０，２０１５，２０２０，２０３０における処理と並行して、映像入力装置１０２より、撮像された現実空間の画像がフレーム毎に情報処理装置４００に入力され、ＲＡＭ１６０２に順次記録される（３０１０）。
【００６７】
一方、ＣＰＵ１６０１は、上記処理２０３０でもって求めた「仮想物体の見え方」で見える仮想物体の画像（ＣＧ）を、上記３ＤＣＧ描画データ４０６を用いてＲＡＭ１６０２上に生成（描画、レンダリング）する（３０２０）。
【００６８】
そして、ＣＰＵ１６０１は、ＲＡＭ１６０２上で、現実空間の画像上に、仮想物体の画像を重畳させ（４０１０）、重畳後の画像（複合現実空間の画像）をアナログ信号としてのビデオ信号に変換して映像表示装置１０１に出力する（４０２０）。
【００６９】
以上説明した処理により、マニピュレータの位置に、マニピュレータの姿勢でもって配置された仮想空間の画像が現実空間の画像に重畳されて観察者に提供することができる。これにより、観察者は、マニピュレータを手でもって動かして、仮想物体の任意の部分を観察することができる。
【００７０】
次に、この仮想物体が複数の部品により構成されており、それぞれの部品が何れかのマニピュレータに関連付けられている場合に、それぞれのマニピュレータを用いて関連付けられた部品を観察する場合について説明する。
【００７１】
以下の説明では仮想物体として図５に示す如く、複数の歯車（部品）により構成されている仮想物体を用いた場合について説明するが、扱う仮想物体は同図の仮想物体に限定されるものではない。
【００７２】
同図において歯車５００、５０１，５０２とシャフト５０３に注目すると、このデータ全体のローカル座標系Ｃ０から、座標変換Ｔ１で変換された座標系Ｃ１に歯車５００が配置される。すなわち、ローカル座標系Ｃ０を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ１でもって移動した位置姿勢に歯車５００を配置する。
【００７３】
そして更に、その歯車５００から相対的な位置には歯車５０１と歯車５０２が配置されている。すなわち、歯車５００の座標系Ｃ１から座標変換Ｔ２で変換された座標系Ｃ２に歯車５０１が配置される。換言すれば、座標系Ｃ１を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ２でもって移動した位置姿勢に歯車５０１を配置する。
【００７４】
同じように、歯車５００の座標系Ｃ１から座標変換Ｔ３で変換された座標系Ｃ３に歯車５０２が配置される。換言すれば、座標系Ｃ１を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ３でもって移動した位置姿勢に歯車５０２を配置する。
【００７５】
さらに、歯車５０２から相対的な位置にシャフト５０３が配置されている。歯車５０２の座標系Ｃ３から座標変換Ｔ４で変換された座標系Ｃ４にシャフト５０３が配置される。換言すれば、座標系Ｃ３を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ４でもって移動した位置姿勢に歯車５０３を配置する。
【００７６】
このように、各部品は、ローカル座標系Ｃ０に対して適当な座標変換を施した座標系に配置されるので、図５に示した各部品は、図６に示す如く、その位置姿勢関係において親子関係を有している。
【００７７】
図６において、Ｐ５００は部品５００を示す。部品５００は、座標系Ｃ０（６００で示す）から座標変換Ｔ１でもって変換した座標系中に配置されるものであるので、座標系Ｃ０から１つ下の階層に位置する。同様に、部品５０１は、座標系Ｃ０（６００で示す）から座標変換Ｔ２でもって変換した座標系中に配置されるものであるので、座標系Ｃ０から１つ下の階層に位置する。同様に、部品５０２は、座標系Ｃ０（６００で示す）から座標変換Ｔ３でもって変換した座標系中に配置されるものであるので、座標系Ｃ０から１つ下の階層に位置する。部品５０３は、座標系Ｃ３から座標変換Ｔ４でもって変換した座標系中に配置されるものであるので、座標系Ｃ３から１つ下の階層に位置する。このように、それぞれの部品の配置位置は、元の座標系Ｃ０から相対的に計算されるものであるので、換言すれば、各部品の階層構造は、それぞれの部品の位置姿勢の階層構造でもある。そしてこのような階層構造のデータは各部品の初期位置姿勢を示すものであり、この初期位置姿勢を示すデータは外部記憶装置１６０５に保存しておき、必要に応じてＲＡＭ１６０２にロードする。
【００７８】
また、本実施形態では、座標変換はマトリックスの形態で表現するものとする。従って、上記Ｔ１，Ｔ２，Ｔ３，Ｔ４は全てマトリックスでもって表される。
【００７９】
そして、各部品をマニピュレータでもって観察するために、マニピュレータ３００、３０１の何れかに関連付けるのであるが、本実施形態では、部品５００〜５０２をマニピュレータ３００に関連付け、部品５０３をマニピュレータ３０１に関連付ける。この関連づけは予め行っておき、この関連づけを示すデータは外部記憶装置１６０５に保存させておく。またこのデータは、必要に応じて、ＲＡＭ１６０２に読み出されるものである。
【００８０】
図７は、このようにして各部品をマニピュレータ３００、３０１の何れかに関連付けた結果、それぞれの部品が従う座標系を示す図である。
【００８１】
同図において、Ｃｍはセンサ座標系を示す。Ｃｍ１はマニピュレータ３００の位置姿勢を基準とする座標系である。従って、同図に示す如く、座標系Ｃｍから座標系Ｃｍ１に変換するための座標変換Ｔｍ１とは、マニピュレータ３００に備わっている磁気センサ２０２の計測する位置姿勢そのものである。ここで、部品５００〜５０２をマニピュレータ３００に関連付けるため、座標系Ｃ０と座標系Ｃｍ１とを一致させる。すなわち、部品５００〜５０２は、磁気センサ２０２の位置姿勢を基準とした座標系において配置される。
【００８２】
一方、Ｃｍ２は、マニピュレータ３０１の位置姿勢を基準とする座標系である。従って、同図に示す如く、座標系Ｃｍから座標系Ｃｍ２に変換するための座標変換Ｔｍ２とは、マニピュレータ３０１に備わっている磁気センサ２０３の計測する位置姿勢そのものである。ここで、部品５０３は、マニピュレータ３０１に関連付けられたので、磁気センサ２０３の位置姿勢を基準とした座標系Ｃｍ２から座標変換Ｔ４でもって変換される座標系Ｃ４に配置される。
【００８３】
このように、各部品は、ローカル座標系Ｃｍ１，Ｃｍ２に対して適当な座標変換を施した座標系中に配置される。ここで、図７に示した各部品は、図８に示す如く、親子関係を有している。図８は、部品５０３をマニピュレータ３０１に関連付けたことにより、部品５０３に関する親子関係が変化した以外は、図６と同じ親子関係を示すものである。
【００８４】
以上のようにして、マニピュレータ３００、３０１それぞれに部品を関連付け、それぞれの部品の初期位置姿勢を、関連付けたセンサの位置姿勢を基準とする座標系内に変換し、変換後の位置姿勢でもって各部品を配置することにより、マニピュレータ３００、３０１を手に持って操作する観察者は、マニピュレータ３００、３０１を動かすことにより、各部品をあらゆるアングルから見ることができる。当然、マニピュレータ３００、３０１のそれぞれに関連付ける部品は上記のようなものに限定されるものではなく、部品５００〜５０３の何れをマニピュレータ３００、３０１の何れに関連付けても良い。また、マニピュレータの数も本実施形態では２つとしたが、これに限定されるものではない。
【００８５】
ここで、以上の説明では、歯車５００〜５０２とシャフト５０３とを個別に観察するために、それぞれを別個のマニピュレータに関連付けたのであるが、図５に示し如く、全ての部品が元の位置姿勢にある状態を観察したい場合、観察者は、シャフト５０３が図５に示すような位置にくるように、マニピュレータ３００とマニピュレータ３０１とをうまく動かして調節する必要があり、この操作は困難である。
【００８６】
本実施形態では、マニピュレータに備わっている上記ボタンを押下することにより、別個のマニピュレータに関連付けられている部品の位置姿勢（換言すれば、別個の基準座標系に従って配置される部品の位置姿勢）を、元の配置位置姿勢に移動させる。以下、このような処理について説明する。
【００８７】
図９は、シャフト５０３をマニピュレータ３０１に関連付ける時に座標変換オフセットＴoffsetを加えた状態を示す図である。座標変換Ｔoffsetはマニピュレータ３０１の位置姿勢を基準とする座標系Ｃｍ２から座標系Ｃoffsetへの座標変換を行う。
【００８８】
図７では、シャフト５０３は、磁気センサ２０３の位置姿勢を基準とした座標系Ｃｍ２から座標変換Ｔ４でもって変換される座標系Ｃ４に配置したのであるが、図９では、以下説明する処理のため、座標系Ｃｍ２から座標変換Ｔoffsetでもって座標系Ｃoffsetを得、更にこの座標系Ｃoffsetを座標変換Ｔ４でもって変換した座標系Ｃｍ４にシャフト５０３を配置する。
【００８９】
図９に示した各部品は、図１０に示す如く、その位置姿勢関係において親子関係を有している。図１０は、座標系Ｃoffsetを設けたために、部品５０３の位置姿勢が座標系Ｃ０から見て、Ｔｍ２，Ｔoffset、Ｔ４を経て得られるようにネストが１つ増えたこと以外は、図８と同じ親子関係を示すものである。
【００９０】
ここで、シャフト５０３の位置姿勢を、元の表示位置（図５に示す位置姿勢）に戻すためには、座標系Ｃoffsetを座標系Ｃ３に一致させればよい。これにより、歯車５０２とシャフト５０３との位置姿勢関係が図５に示す如くなるのは明白である。そのためには、座標変換Ｔoffsetを、座標系Ｃｍ２から座標系Ｃ３への変換となるように求める必要がある。以下では、このような座標変換Ｔoffsetを求めるための処理について説明する。
【００９１】
座標系Ｃｍから座標系Ｃ３までの座標変換は、Ｃｍ×Ｔｍ１×Ｔ１×Ｔ３で表される。一方、座標系Ｃｍから座標系Ｃoffsetまでの座標変換は、Ｃｍ×Ｔｍ２×Ｔoffsetで表される。そして、Ｃ３＝Ｃoffsetであるから、Ｃｍ×Ｔｍ１×Ｔ１×Ｔ３＝Ｃｍ×Ｔｍ２×Ｔoffsetとなり、その結果、Ｔoffsetは以下の式でもって表すことができる。
【００９２】
Ｔoffset＝Ｔｍ２−１×Ｔｍ１×Ｔ１×Ｔ３    （１）
よって、この式に従って座標変換Ｔoffsetを求め、シャフト５０３の位置姿勢（Ｃｍ×Ｔｍ２×Ｔoffset×Ｔ４）をこの座標変換Ｔoffsetを用いて求めれば、シャフト５０３を元の表示位置（図５に示す位置姿勢）に戻すことができる。
【００９３】
本実施形態では、最初に（ＣＰＵ１６０１がマニピュレータに備わっているボタンの押下を検知していない場合には）座標変換Ｔoffsetに単位行列をセットして用い、観察者がマニピュレータに備わっているボタンを押下し、ＣＰＵ１６０１がこれを検知した場合には、上記式（１）を計算し、この計算による座標変換Ｔoffsetを用いる。
【００９４】
マニピュレータに備わっているボタンが押下されていない場合には、座標変換Ｔoffsetは更新しないので、シャフト５０３の位置姿勢はＣｍ×Ｔｍ２×Ｔoffset×Ｔ４となり、結果として図９に示す如く、磁気センサ２０３の位置姿勢を基準とした座標系Ｃｍ２から座標変換ToffsetとＴ４でもって変換される座標系Ｃ４に配置されることになる。そして、磁気センサ２０３の動きでＴｍ２が変わり、それにあわせてシャフト５０３の位置姿勢もかわる。
【００９５】
一方、マニピュレータに備わっているボタンが押下された場合、座標変換Ｔoffsetには上記式（１）に従った結果が設定されるので、シャフト５０３の位置姿勢Ｃｍ×Ｔｍ２×Ｔoffset×Ｔ４は、歯車５０２の位置姿勢を基準とする座標系Ｃ３における位置姿勢に変換された位置姿勢、すなわち、元の表示位置（図５に示す位置姿勢）に戻すことができる。
【００９６】
以上の処理により、マニピュレータのボタンの押下でもって、シャフト５０３の表示位置を元の表示位置に戻したり、マニピュレータ３０１（磁気センサ２０３）の位置姿勢を基準とした座標系Ｃｍ２から座標変換ToffsetとＴ４でもって変換される座標系Ｃ４に配置したりする、所謂座標変換Ｔoffsetの切り替え処理を行うことができる。
【００９７】
図１１は、この切り替え処理により、シャフト５０３の表示位置を切り替える様子を示す図である。同図（ａ）は、上記式（１）に従った求めた座標変換Ｔoffsetを用いてシャフト５０３の位置姿勢を決定した場合の各部品の位置姿勢を示す図で、同図（ｂ）は、単位行列を設定した座標変換Ｔoffsetを用いてシャフト５０３の位置姿勢を決定した場合の各部品の位置姿勢を示す図である。
【００９８】
なお、押下するボタンはマニピュレータ３００，３０１の何れでも良いし、上述の通り、このボタンはマニピュレータに備わったものに限定するものではなく、例えば操作部１６０４に含まれるキーボードやマウスのボタン、ジョイスティックに備わっているボタンであっても良い。また、ボタン以外の手段でもって、座標変換Ｔoffsetの切り替えを指示するようにしても良い。
【００９９】
また、以上の説明では座標系Ｃoffsetを座標系Ｃ３に一致させるための処理について説明したが、座標系Ｃoffsetをその他の座標系（本実施形態ではＣ１やＣ２）に一致させる場合であっても、同様の計算を行えば良い。
【０１００】
以上のように、本実施形態によれば、３Ｄ−ＣＡＤで生成された３ＤＣＧデータを複数のマニピュレータに分けて観察するときに、構成するパーツの一部または全体を元位置での表示を容易に行うことができる。
【０１０１】
なお、本実施形態では、センサとして磁気センサを用いたがこれに限定するものではなく、例えば超音波センサを用いても良い。
【０１０２】
［第２の実施形態］
本実施形態では、マニピュレータ３００、３０１の形状を、互いに合わせた場合に「かみ合う」ようにすることで、２つのマニピュレータを合わせるだけで、それぞれのマニピュレータに関連付けられている部品が元の表示位置に表示されるようにする。
【０１０３】
図１２は本実施形態におけるマニピュレータ３００、３０１の外観を示す図である。図１３（ａ）は、この２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、同図（ｂ）は、２つのマニピュレータを合わせていないときに、第１の実施形態においてボタンの押下をＣＰＵ１６０１が検知していないときと同様に、それぞれのセンサの位置姿勢でもって関連付けた部品の位置姿勢を制御する様子を示す図である。
【０１０４】
その場合、座標変換Ｔoffsetは以下のようにして設定する。すなわち、マニピュレータ３００とマニピュレータ３０１とを合わせている状態でのＴｍ１，Ｔｍ２をＲＡＭ１６０２に保持しておき、座標変換Ｔoffsetの値を、この保持しておいたＴｍ１，Ｔｍ２を用いて上記式（１）に従った計算で得られる値に固定する。これにより、マニピュレータ３００とマニピュレータ３０１とを合わせれば必ず注目部品（同図ではシャフト）を元の表示位置に表示させることができる。
【０１０５】
すなわち、座標変換Ｔoffsetはマニピュレータ３００とマニピュレータ３０１とを合わせたときに、全ての部品間で初期の位置姿勢関係（図５に示したような各部品の位置姿勢関係）を維持するような値に設定される。
【０１０６】
なお、本実施形態ではマニピュレータ３００、３０１の形状は図１２に示した形状のものとしたが、互いに合わせることのできる形状であれば、このような形状に限定するものではない。
【０１０７】
以上のように、本実施形態によれば、マニピュレータが組み合わせられた状態で３ＤＣＧのパーツが元の位置での表示が容易にできる。即ち、組み合わせた状態でもマニピュレータを操作することで、３ＤＣＧの元状態の観察もできる。また、マニピュレータを組み合わせた状態から解除すれば、３ＤＣＧのパーツも離すことができる。
【０１０８】
［第３の実施形態］
本実施形態では、マニピュレータ同士の相対的移動・回転に制約をかけることで３ＤＣＧのパーツ同士の自然な動きの表示を可能にした複合現実感システムを示す。
【０１０９】
第２の実施形態においては、マニピュレータを組み合わせることで、３ＤＣＧデータのパーツも元の位置で組み合わせられることができると説明したが、組み合わせた状態のマニピュレータは相対的な移動・回転がなくなり、関連付けられている３ＤＣＧデータのパーツでも相対的な移動・回転がない。それに、マニピュレータが離れているときはパーツの動きがマニピュレータの動きに合わせるので、動きの自由度が高く、３ＤＣＧデータでの動きの制約（パーツ同士の干渉など）の影響は受けない。
【０１１０】
図１４は、組み合わせられた際でも、制限のある動きのできる形状を持つマニピュレータ３００，３０１の外観を示す図である。マニピュレータが組み合わせられた状態では第２の実施形態と同様に、３ＤＣＧデータのパーツも元位置での表示を容易に行うことができる。
【０１１１】
図１５（ａ）は、この２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、同図（ｂ）は、２つのマニピュレータを合わせてはいるものの、この状態で図１４に１４００で示す如く、マニピュレータの溝の方向にマニピュレータ３００、３０１を互いにずらしたときに、ずらした方向に応じて、それぞれのマニピュレータ３００、３０１に関連付けられた部品の表示位置を変更している様子を示す図である。
【０１１２】
なお、本実施形態ではマニピュレータ３００、３０１の形状は図１５に示した形状のものとしたが、互いに合わせることができ、かつこの状態で互いにその位置や姿勢を動かすことのできる形状であれば、このような形状に限定するものではない。
【０１１３】
以上のように、本実施形態によれば、マニピュレータが組み合わせられた状態で３ＤＣＧのパーツが元の位置での表示が容易にできるうえに、３ＤＣＧパーツ同士の動きにマニピュレータ同士と同じ移動・回転の制約をつけることで、３ＤＣＧパーツ同士の動きを観察することができる。
【０１１４】
また、以上の実施形態において、情報処理装置４００はＰＣやＷＳ等のコンピュータとしたが、専用のハードウェアでもって構成するようにしても良いし、複数のコンピュータにより構成するようにしても良い。
【０１１５】
［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１１６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１７】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１８】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施形態に係る複合現実感システムの外観構成を示す図である。
【図２】頭部装着型映像入出力装置１００の構成を示す図である。
【図３】情報処理装置４００の機能構成を示す図である。
【図４】観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。
【図５】複数の歯車（部品）により構成されている仮想物体を示す図である。
【図６】図５に示した仮想物体を構成する各部品の姿勢関係を示す図である。
【図７】各部品をマニピュレータ３００、３０１の何れかに関連付けた結果、それぞれの部品が従う座標系を示す図である。
【図８】図７に示した仮想物体を構成する各部品の姿勢関係を示す図である。
【図９】シャフト５０３をマニピュレータ３０１に関連付ける時に座標変換オフセットＴoffsetを加えた状態を示す図である。
【図１０】図９に示した仮想物体を構成する各部品の姿勢関係を示す図である。
【図１１】座標変換Ｔoffsetの切り替え処理により、シャフト５０３の表示位置を切り替える様子を示す図である。
【図１２】本発明の第２の実施形態におけるマニピュレータ３００、３０１の外観を示す図である。
【図１３】（ａ）は、図１２に示す２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、（ｂ）は、２つのマニピュレータを合わせていないときに、第１の実施形態においてボタンの押下をＣＰＵ１６０１が検知していないときと同様に、それぞれのセンサの位置姿勢でもって関連付けた部品の位置姿勢を制御する様子を示す図である。
【図１４】組み合わせられた際でも、制限のある動きのできる形状を持つマニピュレータ３００，３０１の外観を示す図である。
【図１５】（ａ）は、この２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、（ｂ）は、２つのマニピュレータを合わせてはいるものの、この状態で図１４に１４００で示す如く、マニピュレータの溝の方向にマニピュレータ３００、３０１を互いにずらしたときに、ずらした方向に応じて、それぞれのマニピュレータ３００、３０１に関連付けられた部品の表示位置を変更している様子を示す図である。
【図１６】情報処理装置４００の基本構成を示す図である。
【図１】
2005267554.tif 000003
【図２】
2005267554.tif 000004
【図３】
2005267554.tif 000005
【図４】
2005267554.tif 000006
【図５】
2005267554.tif 000007
【図６】
2005267554.tif 000008
【図７】
2005267554.tif 000009
【図８】
2005267554.tif 000010
【図９】
2005267554.tif 000011
【図１０】
2005267554.tif 000012
【図１１】
2005267554.tif 000013
【図１２】
2005267554.tif 000014
【図１３】
2005267554.tif 000015
【図１４】
2005267554.tif 000016
【図１５】
2005267554.tif 000017
【図１６】
2005267554.tif 000018