(57)【要約】【課題】観察者が自らの手で保持・操作する操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位が振動する感覚及び／または衝突部位から音がする感覚を観察者に与えられるようにする。【解決手段】演算処理装置400は、操作対象物体300の複数箇所に配置された複数の振動発生装置211〜213を制御する。演算処理装置は、操作対象物体の位置または姿勢を示す情報を取得し、取得された情報に基づいて、操作対象物体が仮想物体と衝突したか否かを判定し、操作対象物体と仮想物体とが衝突したと判定された場合に、その衝突部位を算出する。そして、演算処理装置は、算出された衝突部位に基づいて複数の振動発生装置を選択的に駆動するべく制御装置210に指示を送る。【選択図】  図１
2007004588.tif 000002
【特許請求の範囲】
【請求項１】
操作対象物体の複数箇所に配置された複数の振動発生手段を制御可能な情報処理装置であって、
前記操作対象物体の位置または姿勢を示す情報を取得する取得手段と、
前記取得手段によって取得された情報に基づいて、前記操作対象物体が仮想物体と衝突したか否かを判定する判定手段と、
前記判定手段によって前記操作対象物体と前記仮想物体とが衝突したと判定された場合に、その衝突部位を算出する算出手段と、
前記算出手段で算出された衝突部位に基づいて前記複数の振動発生手段を選択的に駆動する制御手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記制御手段は、前記複数の振動発生手段のうち最も前記衝突部位に近い振動発生手段を駆動することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記衝突部位に近刷する所定数の振動発生手段を選択し、選択された振動発生手段の各々と前記衝突部位との距離に応じて前記選択された振動発生手段の各々の振動強度を制御することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記選択手段で選択的に駆動される振動発声手段を前記衝突部位に近接した位置に移動させる移動手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記操作対象物体は、３Ｄ−ＣＡＤデータから作成した簡易試作物であり、該３Ｄ−ＣＡＤデータから作成した仮想空間の映像情報を該操作対象物体に同一の位置姿勢にて重畳し、映像出力する処理手段をさらに備えることを特徴とする請求項１乃至４のいずれかに記載の情報処理装置。
【請求項６】
操作対象物体に配置された振動発生手段を制御可能な情報処理装置であって、
前記操作対象物体の位置または姿勢を示す情報を取得する取得手段と、
前記取得手段によって取得された情報に基づいて、前記操作対象物体が仮想物体と衝突したか否かを判定する判定手段と、
前記判定手段によって前記操作対象物体と前記仮想物体とが衝突したと判定された場合に、その衝突部位を算出する算出手段と、
前記振動発生手段を前記算出手段で算出された衝突部位に移動させて駆動する制御手段とを備えることを特徴とする情報処理装置。
【請求項７】
前記振動発生手段は音源であることを特徴とする請求項１乃至６のいずれかに記載の情報処理装置。
【請求項８】
操作対象物体の複数箇所に配置された複数の振動発生手段を制御する情報処理方法であって、
前記操作対象物体の位置または姿勢を示す情報を取得する取得工程と、
前記取得工程によって取得された情報に基づいて、前記操作対象物体が仮想物体と衝突したか否かを判定する判定工程と、
前記判定工程によって前記操作対象物体と前記仮想物体とが衝突したと判定された場合に、その衝突部位を算出する算出工程と、
前記算出工程で算出された衝突部位に基づいて前記複数の振動発生手段を選択的に駆動する制御工程とを備えることを特徴とする情報処理方法。
【請求項９】
操作対象物体に配置された振動発生手段を制御する情報処理方法であって、
前記操作対象物体の位置または姿勢を示す情報を取得する取得工程と、
前記取得工程によって取得された情報に基づいて、前記操作対象物体が仮想物体と衝突したか否かを判定する判定工程と、
前記判定工程によって前記操作対象物体と前記仮想物体とが衝突したと判定された場合に、その衝突部位を算出する算出工程と、
前記振動発生手段を前記算出工程で算出された衝突部位に移動させて駆動する制御工程とを備えることを特徴とする情報処理方法。
【請求項１０】
前記振動発生手段は音源であることを特徴とする請求項８又は９に記載の情報処理方法。
【請求項１１】
請求項８又は９に記載の情報処理方法をコンピュータによって実行させる制御プログラム。
【請求項１２】
請求項１１に記載の制御プログラムを格納したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
現実物体と仮想物体との衝突を振動及び／または音で提示する情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
複合現実感システム（ＭＲシステム）は、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である。
【０００３】
一方、従来、設計・製造分野において３Ｄ−ＣＡＤを使った設計（形状、デザイン）が主流になってきている。３Ｄ−ＣＡＤで設計された物体を評価する方法としては、３Ｄ−ＣＡＤで作成されたデータ（ソリッド形式）を３ＤＣＧとして計算機の画面上に表示して視覚的に評価する方法や、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を製作し、触覚的に評価する方法などが主流である。
【０００４】
ただし、３Ｄ−ＣＡＤデータを３ＤＣＧとして計算機の画面上に表示する方法は、仮想空間内での評価であり、現実空間内での実寸感覚で物体の評価をすることができない。またラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を製作する方法は、おおまかな形状を把握するのには有効である。しかしながら、加工精度、素材などの制約により、デザインの詳細や色彩など、３Ｄ−ＣＡＤ上で設計した詳細な情報までは再現されない。
【０００５】
そこで本出願人は、より完成品に近い状況で設計データを評価するために、３Ｄ−ＣＡＤデータよりラピッド・プロトタイピング装置等で製作した簡易試作物（簡易モックアップ）にコンピュータグラフィックスを重畳表示させることを提案した。本手法では、当該簡易試作物の作成に用いた３Ｄ−ＣＡＤデータを変換して作成した３ＤＣＧデータを、複合現実感システムを使って位置・姿勢方向を簡易試作物の映像に一致させて重ね合わせ、表示する。このような手法により、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価を可能とする。
【特許文献１】特開２００３−３３７９６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の技術では、操作対象物体となる簡易試作物が他の仮想物体と衝突した際に、衝突部位が振動する感覚または衝突部位から音がする感覚を観察者に与える方法については考慮されていない。
【０００７】
上記の特許文献１では、指が仮想物体に接触していると判定される場合に、その接触に対応した感覚が指腹に得られるように触覚・力覚発声手段の駆動を制御することが記載されている。
【０００８】
特許文献１は、仮想物体に対する触感を得るものであり、実物体（簡易試作物）と仮想物体との衝突による振動や音をユーザに伝えるものではない。ましてや、衝突部位から振動が伝わるような感覚、衝突部位から音がするような感覚をユーザに与えるようなことは全く考慮されていない。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位が振動する感覚及び／または衝突部位から音がする感覚を観察者に与えられるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。すなわち、
操作対象物体の複数箇所に配置された複数の振動発生手段を制御可能な情報処理装置であって、
前記操作対象物体の位置または姿勢を示す情報を取得する取得手段と、
前記取得手段によって取得された情報に基づいて、前記操作対象物体が仮想物体と衝突したか否かを判定する判定手段と、
前記判定手段によって前記操作対象物体と前記仮想物体とが衝突したと判定された場合に、その衝突部位を算出する算出手段と、
前記算出手段で算出された衝突部位に基づいて前記複数の振動発生手段を選択的に駆動する制御手段とを備える。
【発明の効果】
【００１１】
本発明によれば、操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位が振動する感覚及び／または衝突部位から音がする感覚を観察者に与えることができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【００１３】
［第１実施形態］
第１実施形態では、観察者が自らの手で保持・操作する操作対象物体が仮想物体と衝突したと判定される場合に、操作対象物体に取り付けた振動発生装置のうち衝突部位に最も近い一つを駆動することによって、衝突部位が振動する感覚を観察者に与える情報処理装置を示す。
【００１４】
図１は、第１実施形態に係る複合現実感システムの構成例を示す図である。１００は観察者が頭部に装着して現実空間と仮想空間を合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ、ＨＭＤ：Head Mounted Displayなどと呼ばれるもの）である。以下、頭部装着型映像入出力装置１００はＨＭＤ１００と記す。
【００１５】
また、２００は磁場を発生させる磁気トランスミッタ、２０１、２０２は磁気トランスミッタ２００が発生させた磁場の変化を計測するための磁気センサ、２０５は磁気トランスミッタ２００と磁気センサ２０１、２０２の計測結果より磁気センサの位置・姿勢を計測するための位置・姿勢計測装置である。磁気センサ２０１はＨＭＤ１００に取り付けられており、観察者の視点位置・視線方向を算出することが可能である。
【００１６】
また、３００は操作対象物体である。操作対象物体は例えば、３Ｄ−ＣＡＤデータよりラピッド・プロトタイピング装置等で製作した簡易試作物（簡易モックアップ）である。以下、本実施形態では、操作対象物体を簡易試作物３００と記す。ＨＭＤ１００と同様に、簡易試作物３００にも磁気センサ２０２が取り付けられており、位置・姿勢計測装置２０５において簡易試作物３００の位置・姿勢が算出可能となっている。さらに簡易試作物３００には振動発生装置２１１、２１２、２１３も取り付けられている。振動発生装置２１１〜２１３には、たとえばモータの回転軸に取り付けた偏心重量の加振力によって振動を発生させる振動モータなどを用いることができる。２１０は制御装置であって、振動発生装置２１１、２１２、２１３の駆動を制御する。３５０は簡易試作物を観察するための台である。
【００１７】
１０２Ｒ，ＬはＨＭＤ１００に組み込まれている映像入力装置、１０１Ｒ，Ｌは同様にＨＭＤ１００に組み込まれている映像表示装置であり、それぞれ右目、左目用に２セットずつ組み込まれている。４００は演算処理装置であって、位置・姿勢計測装置２０５により算出した位置・姿勢情報に合わせた３ＤＣＧ映像を生成し、ＨＭＤ１００の映像入力装置１０２より入力した映像に重畳して、得られた合成映像を映像表示装置１０３に向けて出力するものである。演算処理す落ち４００は例えばパーソナルコンピュータを用いて実現可能である。
【００１８】
ここで、ＨＭＤ１００の具体的な構成について図２を使って説明する。
【００１９】
図２において、１０１は図１における映像表示装置１０１Ｒ，Ｌであり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。上記構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先の９０インチ相当の映像として提示される。
【００２０】
１０２は図１における映像入力装置１０２Ｒ，Ｌであり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能である。
【００２１】
次に、図１における演算処理装置４００の具体的な構成について、図３を使って説明する。
【００２２】
４０１Ｒ，Ｌは映像キャプチャ部であり、それぞれ像入力装置１０２Ｒ，Ｌより入力した映像データを演算処理装置４００内にデジタル信号として取り込む。４０４は位置・姿勢情報入力部であり、位置・姿勢計測装置２０５より送られるＨＭＤ１００と簡易試作物３００の位置・姿勢のデータを演算処理装置４００内に取り込む。４０５は位置・姿勢算出部であり、位置・姿勢情報入力部４０４からの入力データをもとに、ＨＭＤ１００と簡易試作物３００の相対的な位置関係を算出する。４０６は簡易試作物３００への重畳や仮想物体の描画に用いる３ＤＣＧ描画データであり、不図示のハードディスク等に格納される。４０７はＣＧレンダリング部であり、位置・姿勢算出部４０５で算出した相対的な位置関係より、３ＤＣＧデータ４０６を描画させるべき位置、大きさ、角度（パース）などを計算し、レンダリング処理を行う。
【００２３】
４２０は衝突判定部であり、位置・姿勢情報入力部４０４で入力された簡易試作物３００の位置・姿勢のデータを用いて、簡易試作物３００が、位置・姿勢が既知の仮想物体と衝突したか否かを判定する。４２１は衝突部位算出部であり、衝突判定部４２０で簡易試作物が仮想物体と衝突したと判定された場合に衝突部位を算出する。４２２は振動発生装置選択部であり、衝突部位算出部４２１で算出された衝突部位に最も近い振動発生装置を選択し、振動発生装置２１１〜２１３の駆動信号として制御装置２１０へ送る。
【００２４】
４０２Ｒ，Ｌは映像合成部であり、それぞれ映像キャプチャ部４０１Ｒ，Ｌで取り込んだ現実空間の映像データに、ＣＧレンダリング部４０７で生成したＣＧ映像を重畳する。４０３Ｒ，Ｌは映像生成部であり、合成した映像をアナログデータに変換し、映像表示装置１０１Ｒ，Ｌに出力する。
【００２５】
次に、以上のような構成による本実施形態の複合現実感システムの動作について説明する。図４は第１実施形態による複合現実感システムの動作を説明する流れ図である。
【００２６】
まず、３Ｄ−ＣＡＤのデータから、操作対象物体としての簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順を、図４左側の処理手順で説明する。
【００２７】
通常３Ｄ−ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（Ｓ１０１）場合には、それぞれの３Ｄ−ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置で作成される（Ｓ１１１）。
【００２８】
一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（Ｓ１２１）。本実施形態の演算処理装置４００（ＣＧレンダリング部４０７）は、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。
【００２９】
次に、本実施形態の演算処理装置４００による処理手順について、図４右側の流れ図を参照して説明する。
【００３０】
位置・姿勢計測装置２０５は、磁気トランスミッタ２００と磁気センサ２０２のデータを使って、簡易試作物３００の現実空間中における位置・姿勢を計測する。演算処理装置４００は位置・姿勢計測装置２０５から、操作対象物体である簡易試作物３００の位置、姿勢情報を取得する（Ｓ２０１）。同様に、位置・姿勢計測装置２０５は、磁気トランスミッタ２００と磁気センサ２０１のデータを使って、位置・姿勢計測装置２０５は観察者が装着しているＨＭＤ１００の現実空間中における位置・姿勢を計測する。演算処理装置４００は、位置・姿勢計測装置２０５から、ＨＭＤ１００の位置、姿勢情報を取得する。演算処理装置４００の位置・姿勢情報入力部４０４は、位置・姿勢計測装置２５０から取り込んだ位置、姿勢情報を位置・姿勢算出部４０５へ送る。
【００３１】
位置・姿勢算出部４０５は、ＨＭＤ１００と簡易試作物３００との相対的な位置関係を計算し、３ＤＣＧ描画データ４０６によるコンピュータグラフィックスの描画位置を算出する（Ｓ２０３）。ＣＧレンダリング部４０７は、位置・姿勢算出部４０５で算出した相対的な位置関係をもとに、３ＤＣＧ描画用データ４０６を使ってＣＧ映像を描画し、ビデオバッファなどのメモリに展開する（Ｓ２０４）。一方、ＨＭＤ１００の映像入力装置１０２Ｒ，Ｌは現実空間の映像を、映像キャプチャ部４０１Ｒ，Ｌを通して演算処理装置４００に取り込む（Ｓ３０１）。映像キャプチャ部４０１Ｒ，Ｌにより取り込んだ現実空間の映像データは、ビデオバッファなどのメモリに展開される（Ｓ３０２）。映像合成部４０２Ｒ，Ｌは、Ｓ２０４で生成され、メモリに展開されたＣＧデータと、Ｓ３０２でメモリに展開された映像データとを重畳する（Ｓ４０１）。合成された映像は、映像生成部４０３Ｒ，Ｌにてアナログなどのビデオ信号に変換され、ＨＭＤ１００の映像表示装置１０１に表示される（Ｓ４０２）。以上のＳ２０１からＳ２０８までの処理を、映像表示装置１０１における映像更新間隔あるいはＣＧ描画２０４における生成更新間隔で繰り返し行うことで、リアルタイムに情報提示（複合現実感提示処理）を行う。
【００３２】
一方、上記の複合現実感提示処理と並行して、衝突判定部４２０は、位置・姿勢情報入力部４０４で入力された簡易試作物３００の位置・姿勢のデータを用いて、簡易試作物３００が、位置・姿勢が既知の仮想物体と衝突したか否かを判定する（Ｓ３０１）。簡易試作物３００が仮想物体と衝突したと判定された場合には、衝突位置算出部４２１は衝突部位を算出する（Ｓ３０２）。そして、振動発生装置選択部４２２は、振動発生装置２１１〜２１３のうち衝突位置算出部４２１で算出された衝突部位に最も近い振動発生装置を選択し、選択された振動発生装置を制御装置２１０によって駆動させ、振動を発生させる（Ｓ３０３）。以上の振動に関する制御も、複合現実感提示処理の繰り返しとともに繰り返される。
【００３３】
ここで、衝突部位に最も近い振動発生装置の選択方法について簡単に説明する。
【００３４】
衝突部位の座標がｘc＝（Ｘc，Ｙc，Ｚc）であったとする。そして、振動発生装置２１１、２１２、２１３の座標がそれぞれｘb1＝（Ｘb1，Ｙb1，Ｚb1）、ｘb2＝（Ｘb2，Ｙb2，Ｚb2）、ｘb3＝（Ｘb3，Ｙb3，Ｚb3）であったとする。
【００３５】
このとき、衝突部位と振動発生装置２１１、２１２、２１３との間の距離ｄ1、ｄ2、ｄ3は、それぞれ、
【数１】
2007004588.tif 000003
となる。従って、上記のｄ1、ｄ2、ｄ3から、最も小さな距離となる振動発生装置を選択すればよい。
【００３６】
なお、第１実施形態では、ＨＭＤ１００の位置・姿勢を計測するために磁気を使った装置を用いたが、発明の本質としてはこれに限定されるものではなく、光学的な位置・姿勢計測装置など他の手段で実現できることはいうまでもない。
【００３７】
また、第１実施形態では、観察者が自らの手で保持、操作する操作対象物体が３Ｄ−ＣＡＤデータよりラピッド・プロトタイピング装置等で製作した簡易試作物である場合を例に説明した。しかしながら、発明の本質としてはこれに限定されるものではなく、たとえば専用のマニピュレータのようなものや、実際の製品などであってもよい。さらに、たとえば操作対象物体が実際の製品などの場合には、操作対象物体に、３Ｄ−ＣＡＤデータを変換して作成した３ＤＣＧデータを位置・姿勢方向を一致させて重ね合わせて表示する処理を行わなくてもよい。
【００３８】
以上のように、第１の実施形態によれば、操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位に最も近い振動発生装置を駆動することによって、衝突部位が振動する感覚を観察者に与えることができる。
【００３９】
［第２実施形態］
第１実施形態では、衝突部位に最も近い一つの振動発生装置を駆動する場合について説明した。第２実施形態では、衝突部位に近接した複数の振動発生装置を駆動して、衝突部位が振動する感覚を観察者に提示する場合について説明する。
【００４０】
第２実施形態に係る複合現実感提示システムの構成例は第１実施形態（図１）と同様である。また、演算処理装置４００の具体的な構成も第１実施形態（図３）と同様である。ただし、振動発生装置選択部４２２は、衝突部位算出部４２１で算出された衝突部位に近接した複数の振動発生装置を選択する。
【００４１】
たとえば図５に示すように、簡易試作物３００が仮想物体５００と衝突した部位が５１０である場合には、衝突部位５１０に近接した振動発生装置２１２と２１３を選択し、近接していない振動発生装置２１１は選択しない。
【００４２】
第２実施形態の演算処理装置４００による処理の流れは図４と同様である。ただし、Ｓ３０３では、振動発生装置選択部４２２は、衝突部位に近接した複数の振動発生装置を上述のような方法で選択する。そして、Ｓ３０４では選択された振動発生装置を制御装置２１０によって駆動して振動を発生させる。
【００４３】
たとえば図５に示すように、衝突部位５１０と振動発生装置２１２の距離がｄ2、衝突部位５１０と振動発生装置２１３の距離がｄ3であるとする。この場合、衝突部位５１０が強度Ｉで振動する感覚を観察者に提示するためには、振動発生装置２１２及び２１３のそれぞれを以下の式で示される強度（Ｉ212、213）で振動させればよい。
【００４４】
【数２】
2007004588.tif 000004
【００４５】
なお、第２実施形態では振動発生装置毎に振動強度を変えるが、振動周波数を変えてもよい。たとえば、各振動発生装置から把持位置までの振動の伝達特性（周波数特性など）を表す伝達関数を予め求めておき、それを基に、衝突部位における振動を合成できるような各振動発生装置の周波数を求め、その周波数で各振動発生装置を駆動すればよい。
【００４６】
また、複数の振動発生装置で振動を発生するタイミングをずらすことによって、振動が到達する時間の差を発生させて、衝突部位が振動する感覚を生じさせてもよい。
【００４７】
以上のように、第２実施形態によれば、操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位に近接した複数の振動発生装置を、強度、周波数、タイミングなどを制御しながら駆動することによって、衝突部位が振動する感覚を観察者に与えることができる。
【００４８】
［第３実施形態］
第１および第２実施形態では、振動発生装置が操作対象物体に固定されている場合について説明した。本実施形態では、衝突部位に近接した位置まで振動発生装置を物理的に移動させる場合について説明する。
【００４９】
第３実施形態に係る複合現実感システムの構成例は第１実施形態（図１）と同様である。ただし、第３実施形態では最低１つの振動発生装置があればよいので、振動発生装置２１２、２１３は無くてもよい。
【００５０】
また、第３実施形態による演算処理装置４００の具体的な構成も第１実施形態（図３）と同様である。ただし、振動発生装置選択部４２２は、振動発生装置が１つだけの場合には、振動発生装置選択部４２２は不要となる。
【００５１】
第３実施形態の複合現実感システムによる処理の流れを図６に示す。以下、第１実施形態（図４）と同様の処理ステップには同一の参照番号を付し、以下では第１実施形態の処理の流れとの差分について説明する。
【００５２】
Ｓ６０１では、Ｓ３０２（衝突位置算出部４２１）によって算出された衝突部位に近接した振動発生装置を選択し、衝突部位に近接した位置まで物理的に移動させる。なお、振動発生装置が１つだけの場合には、振動発生装置の選択処理は不要となり、当該１つの振動発生装置を衝突部位まで移動させることになる。
【００５３】
たとえば図７に示すように、簡易試作物３００が仮想物体５００と衝突した部位が２２０である場合には、振動発生装置２１１を衝突部位２２０まで、たとえばレール２１５に沿って物理的に移動させて、衝突位置または衝突部位に近接した位置で振動を発生させる。なお、複数の移動可能な振動発生装置を設けた場合は、最も衝突部位に近い振動発生装置を選択し、これを衝突部位まで移動させる。ここで、レールに沿って振動発生装置を移動させるためには、たとえばモータなどを使えばよい。
【００５４】
以上のように、第３実施形態によれば、操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位に近接した位置まで振動発生装置を物理的に移動させることによって、衝突部位が振動する感覚を観察者に与えることができる。
【００５５】
［第４実施形態］
第１、第２および第３実施形態では、衝突部位に近接した振動発生装置を駆動する場合について説明した。本実施形態では、衝突部位に近接したスピーカから音を発生させて、振動の代わりに音によって衝突部位を観察者に提示する場合について説明する。 
第４実施形態に係る複合現実感システムの構成例は図１と同様である。ただし、２１１、２１２、２１３は音発生装置となる。音発生装置には、たとえばスピーカなどを用いることができる。そして、制御装置２１０は、音発生装置２１１、２１２、２１３の駆動を制御する。
【００５６】
また、演算処理装置４００の具体的な構成は図３と同様である。ただし、振動発生装置選択部４２２は音発生装置選択部４２２となり、音発生装置２１１〜２１３のうちの、衝突部位算出部４２１で算出された衝突部位に近接した音発生装置を選択する。
【００５７】
以上のような構成による第４実施形態の処理の流れは図４と同様である。ただし、Ｓ３０３では衝突部位に近接した音発生装置を選択し、Ｓ３０４では選択された音発生装置を制御装置２１０によって駆動して音を発生させる。
【００５８】
また、第２、第３実施形態において振動発生装置の代わりに音発生装置を用いることができることは明らかである。但し、第２実施形態を適用する場合は、振動強度（Ｉ）ではなく各音発生装置の音量が制御される。
【００５９】
以上のように、第４実施形態によれば、操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位に近接したスピーカから音を発生させることによって、衝突部位から音がする感覚を観察者に与えることができる。
【００６０】
なお、第１〜第４実施形態では、振動と音のどちらかによって衝突部位を観察者に提示する場合について説明したが、振動と音の両方によって衝突部位を観察者に提示してもよい。
【００６１】
以上説明したように、上記各実施形態によれば、操作対象物体が仮想物体と衝突したと判定される場合に、衝突部位が振動する感覚及び／または衝突部位から音がする感覚を観察者に与えることができる。
【図面の簡単な説明】
【００６２】
【図１】第１実施形態における複合現実感システムの構成例を示すブロック図である。
【図２】第１実施形態の頭部装着型映像入出力装置の構成例を示す図である。
【図３】第１実施形態における演算処理装置の構成例を示す図である。
【図４】第１実施形態における処理の流れを示す図である。
【図５】第２実施形態における振動発生装置の選択及び駆動方法を説明する図である。
【図６】第３実施形態における処理の流れを示す図である。
【図７】第３実施形態における振動発生装置の移動を説明する図である。
【図１】
2007004588.tif 000005
【図２】
2007004588.tif 000006
【図３】
2007004588.tif 000007
【図４】
2007004588.tif 000008
【図５】
2007004588.tif 000009
【図６】
2007004588.tif 000010
【図７】
2007004588.tif 000011