(57)【要約】【課題】仮想空間に表示されている対象物を取り扱うとき、その対象物が不適切に用いられた場合に、ユーザに注意を喚起することができる画像処理装置及び触覚・力覚提示方法を提供する。【解決手段】本発明の画像処理装置１は、仮想空間画像を生成する画像生成部８３と、仮想空間画像を表示する表示手段と、指の位置を検出する指位置検出手段と、指が対象物に触れている否かを判定する衝突判定部８２と、指が対象物（仮想の電動工具など）に触れている場合には、その対象物と指とが不適正な位置関係にあるか否かを判定する適正位置判定手段と、指に与える触覚を発生して提示する触覚提示手段と、適正位置判定手段によって指及び対象物が不適正な位置関係にあると判定された場合には、対象物の感触とは異なる感触を指腹に与えるように触覚提示手段を駆動制御する制御部８４（制御手段）とを備えている。【選択図】図１３
2004318399.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように前記触覚提示手段を駆動制御することを特徴とする画像処理装置。
【請求項２】
前記指に与える力覚を発生して提示する力覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段とを更に備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように前記力覚提示手段を駆動制御する請求項１に記載の画像処理装置。
【請求項３】
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える力覚を発生して提示する力覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように前記力覚提示手段を駆動制御することを特徴とする画像処理装置。
【請求項４】
前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを更に備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように前記触覚提示手段を駆動制御する請求項３に記載の画像処理装置。
【請求項５】
前記表示手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記仮想空間中の所定の位置に所定のメッセージを表示する請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記所定の位置は、前記不適正な位置関係にあるときの前記対象物の近傍である請求項５に記載の画像処理装置。
【請求項７】
前記所定のメッセージは、前記対象物に対応する警告文である請求項５又は６に記載の画像処理装置。
【請求項８】
前記画像生成手段によって生成された画像データ、並びに、前記接触判定手段及び前記適正位置判定手段によって判定された判定結果を記憶する記憶手段を更に備えることを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記画像生成手段は、前記指位置検出手段により検出された前記指の位置に基づいて、所定の時間間隔で仮想の指画像を含む仮想空間画像を更新して生成する請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
前記表示手段は、前記指の移動にともなって更新された前記仮想空間画像を連続的に表示する請求項９に記載の画像処理装置。
【請求項１１】
前記表示手段は、顔面に装着して使用するものである請求項１乃至１０のいずれかに記載の画像処理装置。
【請求項１２】
前記表示手段は、前記画像生成手段により生成された仮想空間画像データを受信する通信手段を含む請求項１乃至１１のいずれかに記載の画像処理装置。
【請求項１３】
前記画像生成手段、前記接触判定手段、前記適正位置判定手段及び前記制御手段は、１つのユニットとして構成され、該１つのユニットは、前記表示手段及び／又は前記触覚提示手段と相互にデータを送受信する通信手段を備える請求項１乃至１２のいずれかに記載の画像処理装置。
【請求項１４】
仮想空間画像を生成するステップと、
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように、前記指に与える触覚を発生して提示するステップと、
前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定するステップと、
前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように、前記指に与える触覚を発生して提示するステップと、
を有することを特徴とする触覚・力覚提示方法。
【請求項１５】
仮想空間画像を生成するステップと、
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように、前記指に与える力覚を発生して提示するステップと、
前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように、前記指に与える力覚を発生して提示するステップと、
を有することを特徴とする触覚・力覚提示方法。
【請求項１６】
前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記仮想空間中の所定の位置に所定のメッセージを表示するステップを更に有する請求項１４又は１５に記載の触覚・力覚提示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び触覚・力覚提示方法に関する。
【０００２】
【従来の技術】
本等の仮想空間画像が表示され、ユーザ（使用者）が、表示された仮想の本のページをめくる動作をすると、その動作に応じて、前記本のページがめくれるように構成された仮想空間デスクトップ装置が開示されている（例えば、特許文献１など参照）。
【０００３】
しかしながら、前記従来の装置では、ユーザは、手や指で、本の用紙の質感や、用紙の例えばエッジに接触したときの感触などを感じることができず、また、手や指で本を握ったときの反力などを感じることができないため、違和感を覚える。
また、本のページめくりの際は、指の感触により本の用紙のエッジを認識し、その用紙（ページ）を指で挟んで持ち上げるようにしてページをめくるのが自然の動作であるが、前記従来の装置では本に対して手や指による感触が得られないので、本のページをめくる動作の度に、本の用紙のエッジに注目して、そのエッジに指を移動させる動作などが必要となり、前記本のページめくりに手間と時間がかかる。
【０００４】
ところで、仮想空間内において、パーソナルコンピュータ（ＰＣ）を操作し、例えば、インターネットなどのネットワークを介して仮想の商品（例えば、電動工具など）を表示させている場合や、ＣＤ−ＲＯＭなどの記録媒体に記録された商品カタログのデータを見ている場合に、仮想空間という利点を生かして、その仮想の商品に立体的に表示して触れたり、あるいは、その商品が電動工具などのときには、それを試してみたりしたいという要望も考えられる。
【０００５】
このような場合において、上記仮想空間デスクトップ装置などの従来の仮想空間表示装置では、仮想の商品を危険な状態で用いているときに、ユーザの手などにそのまま力覚を提示してしまう可能性がある。このようなときに、ユーザに注意を喚起し、あるいは、適切な状態で使用するためにユーザを誘導することは重要である。
【０００６】
【特許文献１】
特開平６−２８２３７１号公報
【０００７】
【発明が解決しようとする課題】
本発明の目的は、仮想空間に表示されている対象物を取り扱うとき、その対象物が不適切に用いられた場合に、ユーザに注意を喚起することができる画像処理装置及び触覚・力覚提示方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明の一態様において、本発明の一実施形態における画像処理装置は、
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように前記触覚提示手段を駆動制御することを特徴とする。
【０００９】
本発明の画像処理装置によれば、画像生成手段によって生成された仮想空間画像において、ユーザが仮想空間内に表示されている対象物を取り扱う（触る、あるいは、用いる）際に、適正位置判定手段によって指及び対象物が不適正な位置関係にあると判定された場合には、対象物の感触とは異なる感触を指腹に与えるように触覚提示手段を駆動制御する。
【００１０】
したがって、本発明の画像処理装置によって、ユーザは仮想空間中に表示される対象物を実際に扱うことができるとともに、その対象物が不適切に用いられた場合には注意を喚起するように触覚を提示するので、実際にその対象物を取り扱っているような体験をすることができる。例えば、対象物が購入を検討している商品（実際に動かすような商品であり、例えば、電動工具など）である場合、仮想空間中で実体験ができるので、商品の選択を容易にすることができる。また、例えば、対象物が習得すべき道具である場合、仮想空間中で実体験ができるので、その道具を持っていなくとも、その道具の習得を容易にすることができる。
【００１１】
ここで、好ましくは、本発明の画像処理装置は、前記指に与える力覚を発生して提示する力覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段と、
を更に備え、前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように前記力覚提示手段を駆動制御するよう構成されてもよい。
これにより、上述のように注意を喚起するような場合に、触覚の提示だけでなく、ユーザの指に力覚を提示することもできる。
【００１２】
また、本発明のもう一つの実施形態における画像処理装置は、
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える力覚を発生して提示する力覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように前記力覚提示手段を駆動制御することを特徴とする。
【００１３】
ここで、好ましくは、本発明の画像処理装置は、前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを更に備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように前記触覚提示手段を駆動制御するよう構成されてもよい。
【００１４】
また、好ましくは、前記表示手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記仮想空間中の所定の位置に所定のメッセージを表示するよう構成されてもよい。この場合、好ましくは、前記所定の位置は、前記不適正な位置関係にあるときの前記対象物の近傍である。また、好ましくは、前記所定のメッセージは、前記対象物に対応する警告文である。
そして、好ましくは、本発明の画像処理装置は、前記画像生成手段によって生成された画像データ、並びに、前記接触判定手段及び前記適正位置判定手段によって判定された判定結果を記憶する記憶手段を更に備える。
【００１５】
また、好ましくは、前記画像生成手段は、前記指位置検出手段により検出された前記指の位置に基づいて、所定の時間間隔で仮想の指画像を含む仮想空間画像を更新して生成するよう構成される。この場合において、好ましくは、前記表示手段は、前記指の移動にともなって更新された前記仮想空間画像を連続的に表示するよう構成されてもよい。
【００１６】
ここで、好ましくは、前記表示手段は、顔面に装着して使用するものである。また、好ましくは、前記表示手段は、前記画像生成手段により生成された仮想空間画像データを受信する通信手段を含むよう構成されてもよい。さらに、好ましくは、前記画像生成手段、前記接触判定手段、前記適正位置判定手段及び前記制御手段は、１つのユニットとして構成され、該１つのユニットは、前記表示手段及び／又は前記触覚提示手段と相互にデータを送受信する通信手段を備えてもよい。
【００１７】
また、本発明の別の態様において、本発明の一実施形態における触覚・力覚提示方法は、
仮想空間画像を生成するステップと、
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように、前記指に与える触覚を発生して提示するステップと、
前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定するステップと、
前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように、前記指に与える触覚を発生して提示するステップと、
を有することを特徴とする。
【００１８】
また、本発明のもう一つの実施形態における触覚・力覚提示方法は、
仮想空間画像を生成するステップと、
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように、前記指に与える力覚を発生して提示するステップと、
前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように、前記指に与える力覚を発生して提示するステップと、
を有することを特徴とする。
ここで、好ましくは、本発明の触覚・力覚提示方法は、前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記仮想空間中の所定の位置に所定のメッセージを表示するステップを更に有してもよい。
【００１９】
【発明の実施の形態】
以下、図１〜図２５を参照して本発明の画像処理装置及び触覚・力覚提示方法の好適実施形態を詳細に説明する。なお、この実施の形態は例示として挙げるものであり、これにより本発明を限定的に解釈すべきではない。
図１は、本発明の触覚・力覚提示装置（触覚提示手段及び力覚提示手段）を含む画像処理装置の第１実施形態の構成例を示す概念図であり、図２は、図１に示すリアルグローブ２０の回路構成例を示すブロック図である。また、図３は、図１に示すリアルグローブ２０の外観構成例を示す外観図（一部図示を省略）である。
【００２０】
図１に示すように、画像処理装置１は、ユーザ（使用者）の手（指）に装着され、装着された手や各指に対して触覚（触った感覚、例えば、質感、形状、強さ等の接触強度の分布）や力覚（触ったときに加わる力の感覚）を与える一対のリアルグローブ（データグローブ）２０、２０と、仮想空間画像（仮想空間映像）を表示する仮想空間表示装置（表示手段）５と、各リアルグローブ２０及び仮想空間表示装置５の駆動制御等の種々の処理（本発明においては、後述する図１９及び図２０の商品表示処理や図２２及び図２４の適正位置判定処理など）を行う情報処理装置８と、仮想空間画像を作成し、仮想空間画像を用いた各種のサービスを提供する基地局９とを備えている。
【００２１】
各リアルグローブ２０、仮想空間表示装置５、情報処理装置８及び基地局９は、それぞれ、無線（例えば、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、赤外線（ＩＲ）データ通信（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈなど）で信号の送信及び受信（無線通信）を行うことができる無線通信機能（通信手段）を有しており、情報処理装置８と、各リアルグローブ２０、仮想空間表示装置５及び基地局９との間で、それぞれ相互に通信を行うことができるようになっている。
【００２２】
この画像処理装置１は、基地局９、仮想空間表示装置５及び各リアルグローブ２０から供給された情報に基づいて情報処理装置８によって作成（生成）された仮想空間画像を仮想空間表示装置５に表示し、リアルグローブ２０を装着した手や指を動作させることによってその手や指が仮想空間に表示された物体に仮想的に接触した場合等に、その様子を仮想空間表示装置５に表示するとともに、リアルグローブ２０を装着したユーザの手や各指に接触したときの触覚や力覚を与えるための各処理を行う。
【００２３】
情報処理装置（図１では、携帯電話端末として示す）８は、例えば、携帯電話端末、無線通信機能を有するパーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）と呼ばれる携帯型情報機器などの、無線通信機能（通信手段）及び制御機能（制御手段）を備えた各種の装置により構成される。
また、基地局９は、例えば、インターネットに接続されている各種サーバコンピュータ、携帯電話端末と無線通信を行う携帯電話基地局などの、仮想空間画像に関する情報を提供する各種の装置により構成される。
【００２４】
なお、本実施形態では、各リアルグローブ２０、仮想空間表示装置５、情報処理装置８及び基地局９が無線通信機能を有する構成としているが、例えば、その一部又はすべてが有線通信を行う構成とされていてもよい。
また、情報処理装置８が、基地局９の機能の一部又はすべてを有していてもよい。後述する商品表示処理では、便宜的に情報処理装置８に基地局９のすべての機能が含まれるものとして説明している。
【００２５】
さらに、リアルグローブ２０が、仮想空間表示装置５、情報処理装置８及び基地局９の機能の一部又はすべてを有していてもよい。
ここで、触覚・力覚提示装置２は、本実施形態では、一対のリアルグローブ２０、２０、すなわち、ユーザの左手に装着される左手用のリアルグローブ２０と、ユーザの右手に装着される右手用のリアルグローブ２０とで構成されている。以下の説明では、代表的に一方のリアルグローブ２０について説明する。
【００２６】
なお、本発明において、触覚・力覚提示装置２は、一方のリアルグローブ２０のみで構成されていてもよい。
また、本発明では、触覚・力覚提示装置２は、リアルグローブ２０の他に、仮想空間表示装置５、情報処理装置８及び基地局９のうちの、いずれか１つ、又は、２つ、又は、すべてを有していてもよい。この場合、触覚・力覚提示装置２は、それらの有する機能の一部を有していてもよく、また、それらの機能のすべてを有していてもよい。
【００２７】
図２に示すように、リアルグローブ２０は、仮想空間に現れている（仮想空間画像上の）物体（対象物、対象物に表示されているものは表示物）に接触した指の感覚（例えば、質感、形状、強さ等の接触強度の分布）を発生させるための触覚発生部（触覚提示手段）２１と、仮想空間に現れている物体に接触したときに手や指にかかる力の強さの感覚を発生させるための力覚発生部（力覚提示手段）２２と、リアルグローブ２０の各部の位置（リアルグローブ２０を装着した手、手首、腕、指等の各部の位置）を検出する位置姿勢検出部２３と、リアルグローブ２０の各部を制御する制御部２４と、情報処理装置８に送信する検出データ信号の増幅等の信号処理を行う信号処理部２５と、情報処理装置８との間で無線通信を行うための信号送受信部（通信手段）２６とを有している。
【００２８】
また、図３に示すように、リアルグローブ２０の全体形状は、略長手袋状（手袋状）をなしている。すなわち、リアルグローブ２０は、その装着者（ユーザ）の指から腕の肘近傍まで（指から腕にかけて）装着する手袋状の装着手段として、腕を覆う筒状部２０ａを備えた比較的長い手袋２ａを有している。
したがって、ユーザは、この手袋２ａにより、リアルグローブ２０の装着及び取り外しを容易かつ確実に行うことができる。
【００２９】
また、手袋２ａはユーザの手から腕にかけて装着されるので、仮想空間における動作（操作）を容易かつ確実に行うことができる。
この手袋２ａには、指先に対応する部分の遊びを抑制又は防止する遊び吸収部２７と、リアルグローブ２０を手首に固定する手首固定部２８と、該リアルグローブ２０を腕に固定する腕固定部２ｄと、腕に対応する部分のねじれを吸収するねじれ吸収部２９とが、それぞれ設けられている。
遊び吸収部２７は、手袋２ａの手首付近に対応する部分に設けられている。この遊び吸収部２７は、例えば、各種ゴム等の弾性体で形成される。
【００３０】
ユーザがリアルグローブ２０を装着すると、遊び吸収部２７の復元力（弾性力）により、手袋２ａは、肘方向（基端側）に引っ張られ、その状態で保持される。これにより、指先に遊びができてしまうのを防止又は抑制することができる。また、指の長さ等の手の寸法の異なる複数のユーザが使用する場合においても、遊び吸収部２７により、それぞれ各ユーザにおいて、指先に遊びができてしまうのを防止又は抑制することができる。
【００３１】
手首固定部２８は、手袋２ａの遊び吸収部２７の肘側（基端側）に、遊び吸収部２７に連続して設けられている。この手首固定部２８は、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、手首固定部２８の復元力（弾性力）により、手袋２ａは、手首に固定される。これにより、使用中にリアルグローブ２０がずれてしまうのを防止することができる。
また、この手首固定部２８や遊び吸収部２７により、後述する触覚発生部２１のアクチュエータワイヤ２１２の束２１２ａは、各アクチュエータワイヤ２１２がそれぞれその長手方向に移動し得るように所定の位置に保持される。
【００３２】
腕固定部２ｄは、手袋２ａの筒状部２０ａの肘側（基端側）の端部に設けられている。この腕固定部２ｄは、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、腕固定部２ｄの復元力（弾性力）により、手袋２ａは、腕に固定される。これにより、使用中にリアルグローブ２０がずれてしまうのを防止することができる。
【００３３】
ねじれ吸収部２９は、手袋２ａの筒状部２０ａの途中、すなわち、手首固定部２８と腕固定部２ｄとの間に設けられている。
このねじれ吸収部２９は、筒状部２０ａの一部に３つの開口２９２を形成して得られる３本の帯状部２９１で構成されている。各帯状部２９１は、それぞれ、例えば、伸縮性のある材料で構成された布等の伸縮性のある部材で形成される。
【００３４】
ユーザがリアルグローブ２０を装着し、例えば、手首をねじる動作をすると、各帯状部２９１が伸縮、変形し、これにより、筒状部２０ａのねじれが吸収される。このように、ねじれ吸収部２９により、リアルグローブ２０のねじれを防止することができ、このため、ユーザは、手や腕を容易かつ円滑に動かすことができる。
なお、ねじれ吸収部２９の帯状部２９１の数は、２本以下でもよく、また、４本以上でもよい。
【００３５】
また、手袋２ａの各指の背側の各関節に対応する部分には、それぞれ、開口２１ａが形成されている。これらの開口２１ａにより、ユーザは、各指の各関節をそれぞれ容易かつ円滑に動かすことができる。
また、このリアルグローブ２０には、手袋２ａの腕に対応する部分であって、ねじれ吸収部２９よりも肘方向に位置する部分、すなわち、手袋２ａの筒状部２０ａの肘側（基端側）の端部に、制御部２４、電力供給部３０、動力発生部２１１などが設けられている。
これら制御部２４、電力供給部３０及び動力発生部２１１の配置を上述のようにすることにより、リアルグローブ２０の指先側（先端側）の重量を軽く（慣性を小さく）することができ、これにより、ユーザは、動作（操作）を容易に行うことができる。
【００３６】
触覚発生部２１の主要部は、ユーザがリアルグローブ２０を装着したときに、ユーザの各指の第１関節（末節骨と中節骨との間の関節）から先の指先部分を覆う位置にそれぞれ設けられている。なお、各触覚発生部２１の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの１つについて説明する。
図４は、触覚発生部２１の構成例を示す縦断面図である。なお、図が煩雑になるのを避けるため、図中、一部、部材の厚みを省略して図示する。
【００３７】
触覚発生部２１は、図４（Ａ）に示すように、モータ（駆動源）２１１ａを備える動力発生部（移動手段）２１１と、長手方向に移動可能に設置されたアクチュエータワイヤ（可撓性を有する線状体）２１２と、アクチュエータワイヤ２１２の一端を保持するワイヤ保持部（付勢手段）２１３と、触覚を発生させるために指腹を押圧する触覚提示ピン（押圧部）２１４と、触覚提示ピン２１４を支持するとともに触覚提示ピン２１４の移動方向を規制する触覚提示ピン支持部（移動方向規制手段）２１５とで構成される複数の単位触覚発生部（アクチュエータ）２１０を有している。各単位触覚発生部２１０は、互いに独立している。
【００３８】
なお、動力発生部２１１と、アクチュエータワイヤ２１２と、触覚提示ピン支持部２１５とで、触覚提示ピン２１４を駆動する駆動機構が構成され、これらが触覚発生部２１の触覚提示手段に対応する。
動力発生部２１１は、例えば、制御部２４からの制御信号に応じて内部に備えるモータ２１１ａを回転駆動し、そのモータ２１１ａの回転駆動によってアクチュエータワイヤ２１２を巻き取る処理（アクチュエータワイヤ２１２をアクチュエータワイヤ２１２の長手方向に移動させる処理）を行う。制御部２４は、情報処理装置８からの指示に従って、モータ２１１ａの回転駆動が所定のトルクで所定時間なされるように動力発生部２１１を制御する。動力発生部２１１は、情報処理装置８からの指示に従ってモータ２１１ａに回転動力を与えることで、アクチュエータワイヤ２１２を所定の長さ巻き取る処理を行う。
【００３９】
ワイヤ保持部２１３は、図４（Ａ）に示すように、この第１実施形態では指の第１間接の近傍でアクチュエータワイヤ２１２の一端（終端）を保持する。このワイヤ保持部２１３は、例えばゴムやバネなどの弾性を有する部材（弾性体）により構成される。
したがって、動力発生部２１１のモータ２１１ａの駆動によりアクチュエータワイヤ２１２が巻き取られ、そのアクチュエータワイヤ２１２が図４（Ａ）中の時計回りに移動すると、それに伴ってワイヤ保持部２１３が伸張し、アクチュエータワイヤ２１２は、ワイヤ保持部２１３の復元力（弾性力）により、図４（Ａ）中の反時計回りの方向（触覚提示ピン２１４を突出させるときのアクチュエータワイヤ２１２の移動方向と逆方向）に付勢される。そして、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、ワイヤ保持部２１３が復元力（弾性力）によって収縮し、これにより、巻き取られていたアクチュエータワイヤ２１２が引き出され、図４（Ａ）中の反時計回りに移動する。
なお、動力発生部２１１は、アクチュエータワイヤ２１２の他端（始端）側に位置している。
【００４０】
触覚提示ピン２１４は、ユーザの指腹に接触感覚（接触の有無や強さ等）を与えるために用いられ、指腹に接触する部分である微小な接触板（接触部）２１４ａと、接触板２１４ａを支持する支持部２１４ｂとで構成される。支持部２１４ｂは、その一端がアクチュエータワイヤ２１２の途中に固定され、その他端に接触板２１４ａが設けられている。
【００４１】
この第１実施形態では、図４（Ａ）に示すように、リアルグローブ２０の手袋２ａは、指先を装着する（覆う）装着部が２重構造（例えば布などの部材を２枚重ね合わせて、重ね合わせた２枚の部材の間に何らかの部材が収納し得るような構造）になっており、指先を覆っている部分の内部（２重構造の内部）に、アクチュエータワイヤ２１２の一部、ワイヤ保持部２１３及び支持部２１４ｂと、触覚提示ピン２１４のアクチュエータワイヤ２１２の移動方向への移動を規制する触覚提示ピン支持部２１５とが設けられている。そして、指が収納される手袋２ａ内に、支持部２１４ｂの一端側が突出し、接触板２１４ａが位置している。
この第１実施形態では、その接触板２１４ａは、リアルグローブ２０を装着した手の指先に常に接触した状態となっている。なお、これに限らず、接触板２１４ａが指先から離間した状態（接触板２１４ａと指先とが非接触の状態）をとり得るように構成されていてもよい。
【００４２】
図４（Ａ）では、説明を簡単にするため、１つの単位触覚発生部２１０（１つの触覚提示ピン２１４）が代表して示されているが、前述したように、実際には、触覚発生部２１は、複数の単位触覚発生部２１０を有しており、その複数の触覚提示ピン２１４は、ユーザがリアルグローブ２０を装着したときのユーザの指先の指腹に対応する位置に、例えば、指腹に沿って、かつ指腹に対し行列状（マトリックス状）に配置されている。
【００４３】
各触覚提示ピン２１４の前後には、それぞれ、その触覚提示ピン２１４の支持部２１４ｂのアクチュエータワイヤ２１２の移動方向への移動を制限する触覚提示ピン支持部２１５が設けられている。
なお、各触覚提示ピン２１４は、規則的に配置されていてもよく、また、不規則に配置されていてもよい。
【００４４】
次に、触覚発生部２１による触覚発生動作について説明する。
ユーザがリアルグローブ２０を装着し、手や指を動かすことによって仮想空間に現れている物体（仮想物体）、すなわち対象物（表示物）に、その指先（指腹）が仮想的に接触すると、情報処理装置８は、実際に接触があったとした場合の押圧力を計算し、その計算結果に基づいて動力発生部２１１のＰＷＭデータ（例えば、モータ２１１ａを回転させるための励磁パターンを示すデータ）に変換する。
【００４５】
この場合、仮想空間（３次元空間）において、予め、互いに直交するＸ軸、Ｙ軸及びＺ軸、すなわちＸ−Ｙ−Ｚ座標（３次元座標）が想定されており、この物体の座標と、ユーザの指先の座標との一致を検出し、その一致が検出されると、物体の座標に相当する部位とユーザの指先の座標に相当する部位とが接触したと判別する。ユーザの指先の座標は、後述する位置姿勢検出部２３から信号送受信部２６を介して情報処理装置８に送信される信号（情報）に基づいて導出される。
【００４６】
次いで、情報処理装置８は、導出したＰＷＭデータと、実際に接触があったとした場合の接触位置に押圧力を与える接触板２１４ａを動作させる動力発生部２１１を特定（指定）するためのデータとを、リアルグローブ２０に送信する。リアルグローブ２０は、受信したＰＷＭデータに応じて、指定された動力発生部２１１を駆動し、アクチュエータワイヤ２１２を巻き取る。
【００４７】
アクチュエータワイヤ２１２が巻き取られると、指腹に配されているアクチュエータワイヤ２１２が指腹に沿って指の先端方向に向けて移動し、図４（Ｂ）に示すように、アクチュエータワイヤ２１２に取付固定されている触覚提示ピン２１４も、指腹に沿って指の先端方向に向けて移動する。
この際、図４（Ｃ）に示すように、触覚提示ピン２１４は、触覚提示ピン支持部２１５によって指の先端方向への移動が制限されるとともに、触覚提示ピン支持部２１５にガイドされて、図４（Ｃ）中上側へ移動する（指腹に向って突出する）。すなわち、触覚提示ピン２１４の接触板２１４ａが指腹の表面に対しほぼ垂直上方に移動する。触覚提示ピン２１４の支持部２１４ｂは、待機時には（初期状態では）、図４（Ｂ）に示すように、垂直方向から指の先端方向に傾斜しており、接触板２１４ａがほぼ垂直上方に移動しようとする力が働くことで、その接触板２１４ａが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【００４８】
この動作が、複数の単位触覚発生部２１０のうちの指定された単位触覚発生部２１０でなされ、これにより、ユーザの手の指腹に触覚が提示される（与えられる）。よって、ユーザは、仮想空間画像における指腹の物体（対象物）への接触に相当する感覚を、指腹に得ることができる。
このように指定された単位触覚発生部２１０において、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、ワイヤ保持部２１３が復元力（弾性力）によって収縮し、これにより、巻き取られていたアクチュエータワイヤ２１２が引き出される。
【００４９】
アクチュエータワイヤ２１２が引き出されると、指腹に配されているアクチュエータワイヤ２１２が指腹に沿って指の基端方向（図４（Ｃ）中右側）に向けて移動し、アクチュエータワイヤ２１２に取付固定されている触覚提示ピン２１４も、指腹に沿って指の基端方向に向けて移動し、触覚提示ピン２１４は、図４（Ｂ）に示す初期状態に戻る。これにより、触覚提示ピン２１４からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
【００５０】
このような触覚発生部２１によれば、指腹に対してほぼ平行に（指腹に沿って）アクチュエータワイヤ２１２を配置し、そのアクチュエータワイヤ２１２を巻き取ることによって指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
また、アクチュエータワイヤ２１２の弛みを防止することができ、触覚提示ピン２１４からユーザの指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【００５１】
図５及び図６は、それぞれ、力覚発生部２２の構成例を示す外観図である。なお、図５は、フレームカバーが取り外された状態を示す。
図５に示すように、力覚発生部２２は、リアルグローブ２０を装着したときのユーザの各指の背側に設けられている。なお、力覚発生部２２の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの１つについて説明する。
【００５２】
力覚発生部２２は、回動可能に連結された複数（本実施形態では６つ）のフレーム２２１を備えたリンク機構と、各フレーム２２１を回動させる複数（本実施形態では７つ）のリンクモータ（駆動源）２２２と、手袋２ａに設けられた複数（本実施形態では４つ）のフレームホルダ２ｂとを有している。
フレームホルダ２ｂは、ユーザがリアルグローブ２０を装着したとき、ユーザの指の第１関節より先端側に位置する装着部と、第１関節と第２関節（中節骨と基節骨との間の関節）との間に位置する装着部と、第２関節と第３関節との間に位置する装着部と、第３関節（基節骨と中手骨との間の関節）より基端側に位置する装着部とに、それぞれ、設けられている。
【００５３】
リンク機構は、フレームホルダ２ｂによって、手袋２ａの、リアルグローブ２０を装着したときのユーザの指の背側に取り付けられている。
すなわち、リンク機構の先端側（図５中右側）の端部のフレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第１関節より先端側の部位にその端部が位置するように配置され、このフレーム２２１の先端部は、フレームホルダ２ｂに対し、回動可能に設置されている。
【００５４】
また、リンク機構の基端側（図５中左側）の端部のフレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第３関節より基端側の部位にその端部が位置するように配置され、このフレーム２２１の基端部は、フレームホルダ２ｂに対し、回動可能に設置されている。
また、リンク機構の残りの各フレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第１関節と第２関節との間の部位と、第２関節と第３関節との間の部位とに、フレーム連結部が１つおきに位置するように配置され、この１つおきのフレーム連結部において、フレームホルダ２ｂに対し、回動可能に設置されている。
【００５５】
各リンクモータ２２２の駆動力（回転力）は、それぞれ、図示しない動力伝達部を介して、対応するフレーム２２１に伝達される。すなわち、リンクモータ２２２が所定方向に回転駆動すると、対応するフレーム２２１は、所定方向に回動し、これにより、フレーム２２１の角度が変更（調整）される。
なお、図５には、前述したアクチュエータワイヤ２１２の束２１２ａが示されている。
【００５６】
また、力覚発生部２２の各フレーム２２１や各リンクモータ２２２は、それぞれ、図６に示すように、例えば布製のフレームカバー２ｃの中に収納されている。
また、図６に示すように、フレームカバー２ｃの内側には、手や指の所定の部位の位置及び姿勢を検出する複数（本実施形態では４つ）の位置姿勢検出部（指位置検出手段）２３が設置されている。各位置姿勢検出部２３は、それぞれ、位置及び姿勢を検出する部位（検出位置）に対して一定の位置関係を保持し得るように設けられている。
【００５７】
すなわち、各位置姿勢検出部２３は、それぞれ、この実施形態では、フレームホルダ２ｂが設けられている位置に固定されている各リンクモータ２２２に取付固定されている。したがって、各位置姿勢検出部２３が設けられている部位と、ユーザの手のひら側の所定の部位との位置関係は、一定に保たれる。したがって、位置姿勢検出部２３が自己の位置や姿勢を検出することによって、ユーザの手の平側の所定の部位の位置や姿勢を容易かつ正確に導出することができる。
【００５８】
また、各位置姿勢検出部２３は、それぞれ、手の甲側に配置されているので、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
また、図３に示すように、位置姿勢検出部２３は、ユーザがリアルグローブ２０を装着したとき、リアルグローブ２０の腕の基端側の部位に相当する位置にも設置されている。これら位置姿勢検出部２３により、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を確実に把握することができる。
【００５９】
次に、力覚発生部２２による力覚発生動作について説明する。
ユーザがリアルグローブ２０を装着し、手や指を動かすことによって仮想空間に現されている物体（仮想物体）、すなわち対象物に、その手や指が仮想的に接触すると、情報処理装置８は、後述する演算処理部８１によって、実際に接触があった場合の物体から指（指の各関節）への反力を計算し、その計算結果に基づいて各リンクモータ２２２のＰＷＭデータ（例えば、リンクモータ２２２を回転させるための励磁パターンを示すデータ）に変換する。
【００６０】
物体とユーザの手や指との接触の判別は、触覚発生部２１の場合と同様であるので、ここではその節名を省略する。
情報処理装置８は、導出した各ＰＷＭデータと、駆動させる各リンクモータ２２２を示すデータとをリアルグローブ２０に送信する。リアルグローブ２０は、受信したデータに応じて、指定された各リンクモータ２２２を所定方向に回転駆動し、対応する各フレーム２２１を所定方向に回動させ、各フレーム２２１の角度を調整、すなわち、リンク機構の両端部のフレーム２２１の角度及び各フレーム連結部の角度をそれぞれ調整する。
【００６１】
このフレーム２２１の角度調整により、所定のフレームホルダ２ｂにそれぞれ所定の大きさの力が加わり、これにより、仮想空間に現されている物体からの反力に対応する力がユーザの指の各関節に与えられる。すなわち、指の各関節に対して力覚が提示される（与えられる）。
ここで、この力覚発生部２２は、指の複数の部位に装着する複数の装着部間の間隔を調節する機能を有している（調節手段を兼ねている）。
例えば、図５に示すように、所定のフレーム２２１を回動させ、フレーム２２１の角度を調整することにより、各フレームホルダ２ｂ間の間隔を長くしたり、又は、短くしたりすることができる。
【００６２】
図７は、リアルグローブ２０の位置姿勢検出部２３の構成例を示すブロック図である。位置姿勢検出部２３には、本実施形態では、直交コイル式（直交コイル型）の位置センサが用いられる。すなわち、位置姿勢検出部２３は、図７に示すように、Ｘ方向検出コイル２３１と、Ｙ方向検出コイル２３２と、Ｚ方向検出コイル２３３とで構成される。なお、Ｘ方向と、Ｙ方向と、Ｚ方向とは、互いに直交している。
【００６３】
一方、情報処理装置８には、磁界を発生する後述する磁界発生部８８が設けられている。この磁界発生部８８には、例えば、位置姿勢検出部２３とほぼ同じ構成のもの、すなわち、直交コイル式（直交コイル型）の磁界発生器（Ｘ方向コイル、Ｙ方向コイル、Ｚ方向コイル）が用いられる。
この磁界発生部８８で発生した磁界は、位置姿勢検出部２３で検出される。この場合、磁界発生部のＸ方向コイル、Ｙ方向コイル、Ｚ方向コイルの順に時分割で磁界を発生し、それぞれコイルから発生された磁界を、位置姿勢検出部２３のＸ方向検出コイル２３１、Ｙ方向検出コイル２３２及びＺ方向検出コイル２３３の３つのコイルで検出する。
【００６４】
位置姿勢検出部２３によってＸＹＺ各方向について検出された各信号（検出データ）は、それぞれ、信号処理部２５の増幅部２５１にて増幅され、Ａ／Ｄ変換部２５２にてデジタル信号に変換された後、図２に示す信号送受信部２６に出力され、この信号送受信部２６により情報処理装置８に送信される。
情報処理装置８では、上記の信号を受信し、その信号（情報）に基づいて、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を導出し、その情報を所定の各処理において利用する。
【００６５】
次に、本発明の表示手段である仮想空間表示装置５について説明する。
仮想空間表示装置（表示手段）５には、この実施形態では、顔面に装着して使用する形態のもの、すなわち、ＨＭＤ（ヘッドマウントディスプレイ）と呼ばれる眼鏡状の装置が用いられる。
図８は、仮想空間表示装置５の外観構成例を示す斜視図であり、図９は、仮想空間表示装置５の回路構成例を示すブロック図である。
【００６６】
仮想空間表示装置５は、装着者（ユーザ）に対して仮想空間画像を表示する画像表示部５１ａ、５１ｂと、装着者の視線を検出する視線検出部５２ａ、５２ｂと、周囲の画像（映像）を取り込む凹凸入力部５３ａ、５３ｂと、装置全体の制御を行う制御部５４と、情報処理装置８と信号を送受信する信号送受信部５５と、ユーザの視点を検出する位置姿勢検出部（位置検出手段）５６と、耳に引っかけて保持する装着部５７と、各種信号を処理する信号処理部５８と、三次元加速度センサ５９とを備えている。
【００６７】
図１０は、仮想空間表示装置５の凹凸入力部５３ａの構成例を示す図（ブロック図、模式図）である。この図１０において、凹凸入力部５３ａは、レンズ５３１と、ＣＣＤ（撮像素子）５３２と、ＣＣＤ制御部５３３と、ＣＣＤ出力増幅部５３４とを有している。
レンズ５３１に入射した光（光束）は、そのレンズ５３１により、ＣＣＤ５３２の受光面（撮像面）上に導かれて結像し、その被写体像（周囲の像）は、ＣＣＤ５３２により撮像される。このＣＣＤ５３２の駆動は、ＣＣＤ制御部５３３により制御される。
【００６８】
ＣＣＤ５３２から出力された信号は、ＣＣＤ出力増幅部５３４で増幅され、その後、凹凸入力部５３ａから出力され、図９に示す信号処理部５８に入力される。そして、信号処理部５８において所定の信号処理がなされ、信号送受信部５５により情報処理装置８に送信される。
なお、凹凸入力部５３ｂの構成及び作用は、凹凸入力部５３ａと同様であるので、その説明は、省略する。
【００６９】
図１１は、仮想空間表示装置５の画像表示部５１ａの構成例を示す図（ブロック図、模式図）である。この図１１において、画像表示部５１ａは、レンズ５１１と、レンズ５１１を移動させるレンズ移動機構５１２と、ステッピングモータ５１３と、モータ制御部５１４と、図示しないカラーフィルタを備えた液晶表示パネル５１５と、液晶駆動部５１６と、バックライト５１７と、バックライト制御部５１８と、トランジスタ５１９とを有している。
【００７０】
画像表示部５１ａにおいて仮想空間画像を表示する際は、バックライト制御部５１８の制御により、トランジスタ５１９がオンし、バックライト５１７が駆動し、バックライト５１７から液晶表示パネル５１５へ光が照射される。
そして、液晶駆動部５１６は、制御部５４から入力される表示信号（画像データ）に基づいて、液晶表示パネル５１５の駆動を制御し、これにより、液晶表示パネル５１５に仮想空間画像が表示される。
装着者（ユーザ）は、レンズ５１１及び後述する視線検出部５２ａのハーフミラー５２１を介し、この液晶表示パネル５１５に表示された仮想空間画像を視認することができる。
【００７１】
ステッピングモータ５１３の駆動は、モータ制御部５１４により制御され、そのステッピングモータ５１３が所定方向に回転すると、レンズ移動機構５１２により、レンズ５１１は、液晶表示パネル５１５に接近する方向、すなわち、装着者の目から離間する方向へ移動する。
また、ステッピングモータ５１３が上記方向と逆方向に回転すると、レンズ移動機構５１２により、レンズ５１１は、液晶表示パネル５１５から離間する方向、すなわち、装着者の目に接近する方向へ移動する。
【００７２】
このレンズ５１１の位置の変更により、仮想空間画像の遠近を変更することができる。
このレンズ５１１の位置の調整、すなわち、仮想空間画像の遠近の調整は、後述する視線検出部５２ａ、５２ｂで検出される装着者の視線の情報に基づいてなされる。
なお、画像表示部５１ｂの構成及び作用は、画像表示部５１ａと同様であるので、その説明は、省略する。
【００７３】
視線検出部５２ａ、５２ｂは、装着者の視線がどの方向にあるか（仮想空間画像のどこに焦点を合わせようとしているか）を検出する機能と、セキュリティ情報として利用するための装着者の眼の虹彩パターンを読み取る機能とを有している。
図１２は、仮想空間表示装置５の視線検出部５２ａの構成例を示す図（ブロック図、模式図）である。この図１２において、視線検出部５２ａは、ハーフミラー５２１と、可視光を除去し、赤外光を透過させるフィルタ５２２と、レンズ５２３と、ＣＣＤ（撮像素子）５２４と、ＣＣＤ制御部５２５と、ＣＣＤ出力増幅部５２６と、赤外光を発するＬＥＤ（発光ダイオード）５２７と、ＬＥＤ制御部５２８と、トランジスタ５２９とを有している。
【００７４】
ＬＥＤ５２７の駆動は、ＬＥＤ制御部５２８により制御され、そのＬＥＤ制御部５２８の制御によりトランジスタ５２９がオンすると、ＬＥＤ５２７が駆動し、ＬＥＤ５２７から赤外光が発せられる。
ＬＥＤ５２７から発せられた赤外光は、フィルタ５２２を透過し、ハーフミラー５２１でその一部が反射して、装着者の目に照射される。
【００７５】
そして、装着者の目からの反射光（光束）は、ハーフミラー５２１でその一部が反射して、フィルタ５２２を透過し、レンズ５２３により、ＣＣＤ５２４の受光面（撮像面）上に導かれて結像し、その被写体像（装着者の目の像）は、ＣＣＤ５２４により撮像される。このＣＣＤ５２４の駆動は、ＣＣＤ制御部５２５により制御される。
【００７６】
ＣＣＤ５２４から出力された信号は、ＣＣＤ出力増幅部５２６で増幅され、その後、視線検出部５２ａから出力され、図９に示す信号処理部５８に入力され、所定の信号処理がなされ、信号送受信部５５により情報処理装置８に送信される。
情報処理装置８では、仮想空間表示装置５からの信号を受信し、その信号（情報）に基づいて、装着者の視線がどの方向にあるか（仮想空間画像のどこに焦点を合わせようとしているか）を検出するとともに、装着者の眼の虹彩パターンを読み取り、解析し、セキュリティ情報として利用する。
【００７７】
一方、レンズ５２３側からフィルタ５２２へ入射する可視光は、フィルタ５２２で除去され、その可視光が装着者の目に照射されてしまうのを阻止することができる。これにより、液晶表示パネル５１５に表示された仮想空間画像の視認性の低下を防止することができる。
なお、視線検出部５２ｂの構成及び作用は、視線検出部５２ａと同様であるので、その説明は、省略する。
【００７８】
この仮想空間表示装置５は、２台の画像取込装置（撮像手段）、すなわち、凹凸入力部５３ａ、５３ｂによって周囲の画像を撮像して取り込み、情報処理装置８に対して撮像した画像データ（映像データ）を送信する。
情報処理装置８は、凹凸入力部５３ａ、５３ｂにて撮像された画像、すなわち撮像された画像データから視角差を導出し、その視角差等から得られる周囲の凹凸に基づいて、仮想空間画像、すなわち仮想空間の画像データを作成する。そして、情報処理装置８は、作成した仮想空間の画像（映像）と、例えば、仮想壁紙や仮想パーソナルコンピュータや仮想本などの所定の仮想物体を周囲の凹凸に合わせて仮想空間に配置するための画像とを合成した合成画像（合成映像）を示す画像データ（映像データ）を仮想空間表示装置５に送信する。
【００７９】
仮想空間表示装置５は、情報処理装置８からの画像データに基づいて、その画像を画像表示部５１ａ、５１ｂを用いて表示する。
また、仮想空間表示装置５は、装着されているリアルグローブ２０、すなわち、ユーザの手や腕が画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像も、画像表示部５１ａ、５１ｂに表示する。
【００８０】
この場合、前述したように、リアルグローブ２０に設けられている複数の位置姿勢検出部２３の検出データが情報処理装置８に送信されることで、リアルグローブ２０の位置及び姿勢、すなわち、ユーザの各指、手、手首、腕等は情報処理装置８にて認識される。すなわち、情報処理装置８は、逐一、リアルグローブ２０からの検出データに基づいて、ユーザの各指、手、手首、腕等の位置及び姿勢を特定し、それらが画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、それらを示す仮想空間画像を作成し、その画像を基礎の画像に合成して、合成画像（合成画像の画像データ）を得、その画像データを仮想空間表示装置５に送信する。
【００８１】
したがって、ユーザの手や腕が画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像が、画像表示部５１ａ、５１ｂに表示される。
そして、リアルグローブ２０を装着した手や指の実際の動作に連動し、画像表示部５１ａ、５１ｂに表示されている仮想空間画像においてその手や指が動く。
【００８２】
位置姿勢検出部５６は、仮想空間表示装置５の位置及び姿勢、すなわち、装着者の顔面（頭部）の位置及び姿勢を検出するためのセンサである。この位置姿勢検出部５６には、本実施形態では、直交コイル式の位置センサ、すなわち、位置姿勢検出部２３と同様のものが用いられる。
位置姿勢検出部５６からの信号（検出データ）は、信号処理部５８に入力され、所定の信号処理がなされ、信号送受信部５５により逐一情報処理装置８に送信される。情報処理装置８は、この検出データに基づいて、所定の時間間隔で逐一仮想空間画像を更新する。
【００８３】
したがって、例えば仮想空間表示装置５を装着したユーザが首を動かした場合には、画像表示部５１ａ、５１ｂに表示される仮想空間画像は、ユーザが向いている方向に合致した画像となるように変化する。
三次元加速度センサ５９は、仮想空間表示装置５の略直交する三方向への加速度を検出するものであり、ＨＭＤに内蔵可能なものであって、ある程度の精度を有するものであれば、圧電型でも、サーボ型でも、ひずみゲージ型などのいずれでもよい。しかしながら、本発明では、ＣＭＯＳを用いた半導体加速度センサのように、より高精度な加速度センサが適する。
【００８４】
この三次元加速度センサ５９で検出された信号（加速度データ）は、信号処理部５８に出力され、増幅などの所定の信号処理がなされた後、信号送受信部５５を介して情報処理装置８に送信される。なお、この加速度データは、ＨＭＤ５の移動速度を演算する際に用いられるが、本発明では必須の構成ではないので、その説明を省略する。
【００８５】
次に、本発明の画像処理装置の一部である情報処理装置８について説明する。図１３は、図１に示す情報処理装置８の回路構成例を示すブロック図である。この図１３において、情報処理装置８は、演算処理部（演算手段）８１と、衝突判定部（衝突判定手段、接触判定手段も兼ねる）８２と、画像生成部（画像生成手段）８３と、制御部（制御手段、適正位置判定手段も兼ねる）８４と、記憶部（記憶手段）８５と、信号処理部８６と、信号送受信部（通信手段）８７と、磁界発生部８８とを備えている。
【００８６】
演算処理部８１は、上述のリアルグローブ２０の指や手が仮想空間内の対象物に接触した場合には、その対象物がどのようなものであるかを判断して、それから指（指の各関節）への反力（触覚及び／又は力覚）を演算し、その演算結果からリアルグローブ２０の各リンクモータ２２２のＰＷＭデータに変換し、その変換データを信号処理部８６及び信号送受信部８７を介してリアルグローブ２０に送信する。
【００８７】
衝突判定部８２は、リアルグローブ２０の各指が仮想空間内の仮想の対象物（表示物）と衝突したか否か（接触したか否か）を判定するものである。衝突判定部８２によって判定された判定結果は、制御部８４に出力される。本発明では、衝突判定部８２は、指と仮想のパーソナルコンピュータの液晶画面との衝突のみならず、商品表示処理によって表示された商品との衝突又は接触についても判定する。この判定結果も同様に制御部８４に出力される。
【００８８】
画像生成部８３は、制御部８４の指示により、予め基地局９から受信した仮想空間画像、あるいは仮想空間表示装置５の凹凸入力部５３ａ、５３ｂによって撮像され、その撮像画像から変換された仮想空間画像に、ユーザの腕や指などの映像を重ね合わせて、合成された仮想空間画像を生成し、それを信号処理部８６に出力する。また、画像生成部８３は、仮想空間中に表示されるリアルグローブ２０又は仮想空間表示装置５の移動にともない、所定の時間間隔で仮想空間画像を更新して生成し、それを信号処理部８６に出力する。
【００８９】
制御部８４は、衝突判定部８２の判定結果に基づいて、演算処理部８１に上述の反力を演算させる。また、制御部８４は、上述の演算処理部８１、衝突判定部８２、及び画像生成部８３の動作を制御し、その演算結果、衝突判定結果（接触判定結果）、及び生成画像データなどを記憶部８５の所定の格納領域に保存するとともに、信号処理部８６及び信号送受信部８７を介して、対応する装置にそれらを送信する。
【００９０】
また、制御部８４は、本発明では、衝突判定部８２によって指と上記仮想のパーソナルコンピュータの液晶画面（あるいは、それに表示されている商品）とが一致した（すなわち、指が仮想の商品にタッチした、あるいは、指で仮想の商品を掴んだ）と判定される場合には、その仮想の商品を仮想空間画像中に挿入するよう画像生成部８３に仮想空間画像データを生成させ、その画像を仮想空間表示装置５に表示させる。
【００９１】
さらに、制御部８４は、指と仮想の商品とが衝突（接触）している場合、指とその仮想の商品の位置関係が不適切であるか否かを判定し（適正位置判定手段）、その判定結果に基づいて、触覚・力覚提示装置２（触覚提示手段、力覚提示手段）によってユーザの指に触覚及び／又は力覚を提示させ、あるいは、画像生成部８３に警告メッセージを生成させ、そのメッセージデータを信号処理部８６及び信号送受信部８７を介して仮想空間表示装置５に送信させる。なお、仮想空間表示装置５は、このように受信した警告メッセージデータを仮想空間画像において所定の位置にを表示する。
【００９２】
記憶部８５は、プログラムやデータ等が予め記憶されている、図示しないコンピュータに読み取り可能な記憶媒体（記録媒体ともいう。特許請求の範囲においては記録媒体とする）を有しており、この記憶媒体は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：揮発性、不揮発性のいずれをも含む）、ＦＤ（Ｆｌｏｐｐｙ  Ｄｉｓｋ（Ｆｌｏｐｐｙは登録商標））、ＨＤ（Ｈａｒｄ  Ｄｉｓｋ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のような、磁気的、光学的記録媒体、もしくは半導体メモリで構成されている。この記憶媒体は、記憶部８５に固定的に設けたもの、もしくは着脱自在に装着するものであり、この記憶媒体には、上記仮想空間表示装置５、情報処理装置８、及び触覚・力覚提示装置２に対応する各種アプリケーションプログラム、商品表示処理プログラム、適正位置判定処理プログラム、及び各処理プログラムで処理されたデータ、文書データ等が記憶される。
【００９３】
また、この記憶媒体に記憶するプログラム、データ等は、その一部もしくは全部をサーバやクライアント（本実施形態では、基地局９など）等の他の機器からネットワーク回線（例えば、インターネット、電話回線など）等の伝送媒体を介して信号送受信部８７から受信して記憶する構成にしてもよく、さらに、記憶媒体はネットワーク上に構築された基地局９のサーバの記憶媒体であってもよい。さらに、このようなプログラムをネットワーク回線等の伝送媒体を介してサーバやクライアントから伝送して情報処理装置８にインストールするように構成してもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであって良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００９４】
信号処理部８６は、仮想空間表示装置５や触覚・力覚提示装置２に送信する画像データや制御信号などの増幅等の信号処理を行う。信号送受信部８７は、信号処理部８６において処理された各種信号やデータを仮想空間表示装置５や触覚・力覚提示装置２などの外部機器との通信を行うための制御を行う。
磁界発生部８８は、詳細は図示されていないが、例えば、図７の位置姿勢検出部２３に対応する直交コイル式（直交コイル型）の磁界発生器（Ｘ方向コイル、Ｙ方向コイル、Ｚ方向コイル）である。この磁界発生部８８は、制御部８４からの指示により、Ｘ、Ｙ、Ｚ方向コイルの順で磁界を発生し、リアルグローブ２０の位置姿勢検出部２３の各方向の検出コイル２３１、２３２及び２３３に発生した磁界を検出させるとともに、仮想空間表示装置５の位置姿勢検出部５６にも磁界を検出させる。
【００９５】
なお、この磁界発生部８８は、図示のように情報処理装置８に格納されてもよいが、磁界発生装置として情報処理装置８とは別構成としてもよい。特に、情報処理装置８として携帯電話機やＰＤＡを用いるときは、その内部に磁界発生部を後から設けることができないので、別構成とすることが有用である。このように別に磁界発生装置（又は磁界発生部）を設けたとしても、その制御は、情報処理装置８からの制御信号によってなされる。
【００９６】
次に、第１実施形態の画像処理装置１の動作（作用）について説明する。ここでは、ユーザが、画像処理装置１を利用して、仮想空間に現れている仮想パーソナルコンピュータの操作を行う場合を例に説明する。
ユーザは、各部の電源を入れ、リアルグローブ２０を両手にそれぞれ装着し、眼鏡状の仮想空間表示装置５をかける（顔面に装着する）。すると、仮想空間表示装置５の画像表示部５１ａ、５１ｂに、仮想パーソナルコンピュータを含む仮想空間画像が表示される。
【００９７】
また、ユーザの腕が画像表示部５１ａ、５１ｂで表示されている仮想空間画像内に入るようにすれば、情報処理装置８の画像生成部８３にて作成されたその手や腕の画像が仮想空間画像に仮想物体として表示される。そして、ユーザが手や指を動かした場合には、その実際の手や指の動きに連動して、仮想空間画像において、表示されている手や指が動く。
【００９８】
情報処理装置８は、衝突判定部８２によって、仮想空間画像における対象物、すなわち本実施形態では、例えば、仮想パーソナルコンピュータの一部（例えばキーボード）と、ユーザの指の一部が同一座標となったことを検出すると、演算処理部８１の演算結果に基づいて、リアルグローブ２０に対して、触覚及び力覚を発生させるための指示を行う。具体的には、情報処理装置８は、リアルグローブ２０に対して、演算処理部８１が演算した反力の演算結果から得た、駆動させる動力発生部２１１及びその駆動に用いるＰＷＭデータや、駆動させるリンクモータ２２２及びその駆動に用いるＰＷＭデータなどを、信号送受信部８７を介して送信する。
【００９９】
リアルグローブ２０は、情報処理装置８からの指示に従って、指定された各動作発生部２１１を、それぞれ、指定されたトルクで指定された時間だけＰＷＭ制御により駆動する。これにより、仮想パーソナルコンピュータの一部と同一座標となった部分に配置されている各触覚提示ピン２１４の接触板２１４ａが突出し、仮想パーソナルコンピュータの一部と同一座標となったユーザの各指先に対して触覚が与えられる。すなわち、各指先に、接触感覚、質感、形状、強さ等の感覚が与えられる。
【０１００】
同時に、リアルグローブ２０は、情報処理装置８からの指示に従って、指定された各リンクモータ２２２を、それぞれ、指定されたトルクで指定された時間だけＰＷＭ制御により駆動する。これにより、実在するパーソナルコンピュータの例えばキーボードに触れているときに各指の各関節に与えられる力覚、すなわち、各指の各関節に与えられる押圧力（反力）に相当する力がユーザの各指の各関節に対して与えられる。
【０１０１】
また、ユーザが、さらに仮想パーソナルコンピュータのキーを押し込む方向に指を動かすと、指の座標変化に合わせて、画像表示部５１ａ、５１ｂに、キーを押し込む様子を示す仮想空間画像が表示される。
この場合、情報処理装置８は、押下されたキーに基づく表示状態の変化を仮想空間画像で再現するための仮想空間画像の画像データを画像生成部８３において生成し、それを仮想空間表示装置５に送信する処理を行い、仮想空間表示装置５は、情報処理装置８から受信した仮想空間画像の画像データに基づいて、仮想パーソナルコンピュータのディスプレイにキーの押下が反映された表示がなされる画像を表示する。
【０１０２】
以上説明したように、この触覚・力覚提示装置２及び画像処理装置１によれば、リアルグローブ２０の装着及び取り外しを容易かつ確実に行うことができ、また、仮想空間における動作（操作）を容易かつ確実に行うことができる。
また、仮想空間画像に応じて、各指に対して触覚及び力覚をそれぞれ正確かつ確実に提示することができる。
【０１０３】
これにより、ユーザは、仮想空間における動作（操作）を、快適に、容易かつ確実に、行うことができる。
特に、触覚発生部２１において、アクチュエータワイヤ２１２の弛みを防止することができ、各触覚提示ピン２１４からそれぞれユーザの各指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【０１０４】
これにより、ユーザは、仮想空間画像における各指腹の物体（対象物）への接触に相当する感覚を、より正確かつ確実に各指腹で感じることができる。
また、触覚発生部２１では、各指腹に対してほぼ平行に（指腹に沿って）アクチュエータワイヤ２１２が配置され、そのアクチュエータワイヤ２１２を巻き取ることによって各指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
【０１０５】
また、力覚発生部２２はリンク機構を有しているので、指を伸ばしている状態、指を曲げている状態のいずれにおいても対応することができ、これにより、より確実に、各指に対して力覚を与えることができる。
なお、上述した実施形態では、使用例として仮想空間画像にて表示されているパーソナルコンピュータを仮想的に操作する場合について説明したが、本発明では、これに限らず、例えば、仮想本などの他の物品を取扱うために使用することもできる。仮想本を取扱う場合には、例えば、仮想本の縁をさわったりページをめくったりするときに、実際の本の縁をさわったりページをめくったりするときに指に加わる触感や力感を感じることができる。
【０１０６】
次に、本発明の画像処理装置の第２実施形態について説明する。図１４は、本発明の第２実施形態における触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
以下、第２実施形態の触覚・力覚提示装置２及び画像処理装置１について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【０１０７】
図１４（Ａ）に示すように、第２実施形態の触覚・力覚提示装置２では、その触覚発生部２１の各単位触覚発生部（アクチュエータ）２１０は、それぞれ、モータ（駆動源）２１１ａを備える動力発生部（移動手段）２１１と、長手方向に移動可能に設置されたアクチュエータワイヤ（可撓性を有する線状体）２１２と、触覚を発生させるために指腹を押圧する触覚提示部２１６とを有している。なお、第２実施形態では、触覚提示部２１６が触覚提示手段の主要部を構成する。
【０１０８】
触覚提示部２１６は、ユーザの指腹に接触感覚（接触の有無や強さ等）を与えるために用いられ、例えば、板バネのような弾性を有する部材（弾性体）で形成される。この場合、触覚提示部２１６は、適度な剛性を有するのが好ましく、例えば、各種金属で構成された弾性体で形成することができる。
この触覚提示部２１６は、第１の板片（押圧部）２１６ａと、第２の板片（スライド部）２１６ｂとで構成されている。第１の板片２１６ａと第２の板片２１６ｂとは、一端側において接合されており、第１の板片２１６ａの他端側には、指腹に接触する部分である微小な接触部２１６ｃが設けられている。この接触部２１６ｃは、例えば、第１の板片２１６ａの端部を第２の板片２１６ｂ側に向けて屈曲させることによって形成することができる。
【０１０９】
また、触覚提示部２１６の一端側、すなわち、図１４（Ａ）中左側の端部は、図１４（Ａ）中下側に凸となるように湾曲している。
第１の板片２１６ａと、第２の板片２１６ｂとの間には、第１の板片２１６ａの移動方向を規制する円柱状のガイド部（移動方向規制手段）２１７が設置されている。
また、触覚提示部２１６の図１４（Ａ）中下側には、押え板２１８が設置されており、触覚提示部２１６は、この押え板２１８に沿って移動（スライド）し得るようになっている。この場合、触覚提示部２１６は、その図１４（Ａ）中左側の端部が湾曲しているので、円滑かつ確実に移動することができる。
【０１１０】
ガイド部２１７は、押え板２１８に固定され、押え板２１８は、手袋２ａに固定されている。すなわち、ガイド部２１７及び押え板２１８は、共に、手袋２ａに対して固定的に設置されている。
また、触覚提示部２１６の第２の板片２１６ｂの図１４（Ａ）中右側の端部には、アクチュエータワイヤ２１２の一端が固定されている。
【０１１１】
動力発生部２１１のモータ２１１ａの駆動によりアクチュエータワイヤ２１２が巻き取られると、そのアクチュエータワイヤ２１２は、指腹に沿って図１４（Ａ）中右側（指の基端方向）に移動し、これとともにアクチュエータワイヤ２１２に取付固定されている触覚提示部２１６も指腹に沿って図１４（Ａ）中右側に移動する。
【０１１２】
この際、図１４（Ｂ）に示すように、触覚提示部２１６の第１の板片２１６ａは、ガイド部２１７によって図１４（Ｂ）中右側への移動が制限されるとともに、ガイド部２１７にガイドされて、図１４（Ｂ）中上側へ移動する（指腹に向って突出する）。すなわち、触覚提示部２１６が弾性変形し、その第１の板片２１６ａの姿勢が図１４（Ｂ）に示す姿勢に変更されることで、接触部２１６ｃは、指腹の表面に対しほぼ垂直上方に移動する（押し上げられる）。
【０１１３】
一方、アクチュエータワイヤ２１２は、触覚提示部２１６の復元力（弾性力）により、図１４（Ｂ）中左側（第１の板片２１６ａを突出させるときのアクチュエータワイヤ２１２の移動方向と逆方向）に付勢される。すなわち、この触覚提示部２１６（第１の板片２１６ａ）は、付勢手段を兼ねる。
接触部２１６ｃがほぼ垂直上方に移動しようとする力が働くことで、その接触部２１６ｃが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【０１１４】
この動作が、複数の単位触覚発生部２１０のうちの指定された単位触覚発生部２１０でなされ、これにより、ユーザの手の指腹に触覚が提示される（与えられる）。よって、ユーザは、仮想空間画像における指腹の物体（対象物）への接触に相当する感覚を、指腹に得ることができる。
このように指定された単位触覚発生部２１０において、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、触覚提示部２１６の復元力（弾性力）と、ユーザの指からの圧力によって、触覚提示部２１６は、図１４（Ａ）に示す初期状態に戻る。これにより、触覚提示部２１６からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
この触覚・力覚提示装置２及び画像処理装置１によれば、前述した第１実施形態と同様の効果が得られる。
【０１１５】
次に、本発明の画像処理装置の第３実施形態について説明する。図１５は、第３実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図（一部図示を省略）である。なお、図１５中では、図３に示す触覚発生部２１、動力発生部２１１、力覚発生部２２、位置姿勢検出部２３、制御部２４及び電力供給部３０等は、図示されていない。
【０１１６】
以下、第３実施形態の触覚・力覚提示装置２及び画像処理装置１について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
図１５に示すように、第３実施形態の触覚・力覚提示装置２では、リアルグローブ２０の手袋２ａの筒状部２０ａの肘側（基端側）の端部に、空気（エアー）の注入による空気圧（圧力）により腕に固定する形態（エアー注入方式）の腕固定部２ｄが設けられている。
【０１１７】
この腕固定部２ｄは、空気が注入される袋状の腕固定部本体２１ｄと、その腕固定部本体２１ｄに設けられたエアー注入部２２ｄとで構成されている。腕固定部本体２１ｄの外観形状は、筒状をなしている。
エアー注入部２２ｄの中空部は、腕固定部本体２１ｄの内部に連通しており、エアー注入部２２ｄの先端部には、蓋体２３ｄが設けられている。
【０１１８】
蓋体２３ｄをエアー注入部２２ｄの先端部に装着すると、腕固定部本体２１ｄ内の気密性が保持され、蓋体２３ｄを取り外すと、腕固定部本体２１ｄに対し、エアー注入部２２ｄを介して、空気の注入及び排出を行うことができる。
このような腕固定部２ｄは、各ユーザに応じて、例えば、ゴム型等の型を用いて、ユーザの腕の形状に合うように成形される。
【０１１９】
ユーザは、リアルグローブ２０を装着する際は、まず、その手袋２ａを装着し、次に、腕固定部２ｄの腕固定部本体２１ｄ内に、空気を注入する。
この空気注入では、例えば、エアー注入部２２ｄの先端部から蓋体２３ｄを取り外し、そのエアー注入部２２ｄから腕固定部本体２１ｄ内に空気を吹き込む。そして、所定量の空気を注入し終えると、エアー注入部２２ｄの先端部に蓋体２３ｄを装着する。
【０１２０】
このようにして、リアルグローブ２０は、腕固定部２ｄの空気圧によりユーザの腕に固定されるとともに、手首固定部２８の復元力（弾性力）によりユーザの手首に固定される。
また、ユーザは、リアルグローブ２０を取り外す際は、まず、腕固定部２ｄの腕固定部本体２１ｄ内から空気を排出し、次に、リアルグローブ２０を手から取り外す。
【０１２１】
このように、本発明の第３実施形態の画像処理装置１によれば、前述した第１実施形態と同様の効果が得られる。
そして、この触覚・力覚提示装置２では、腕固定部２ｄがエアー注入方式のものであるので、リアルグローブ２０の装着及び取り外しを容易かつ迅速に行うことができる。
なお、本発明では、触覚発生部２１の単位触覚発生部２１０を、前述した第２実施形態のように構成してもよい。
【０１２２】
次に、本発明画像処理装置の第４実施形態について説明する。図１６は、第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図、図１７は、第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図（一部図示を省略）、図１８は、図１７に示す位置姿勢検出部のＺ方向検出センサの構成例を示す外観図である。なお、図１７及び図１８中において、それぞれ、互いに直交するＸ軸、Ｙ軸及びＺ軸を想定する。
【０１２３】
以下、第４実施形態の触覚・力覚提示装置２及び画像処理装置１について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
第４実施形態の触覚・力覚提示装置２では、位置姿勢検出部（指位置検出手段）２３として、例えば、コリオリ力を利用して互いに直交するＸ軸、Ｙ軸及びＺ軸の回りの角速度をそれぞれ検出するジャイロセンサ（ジャイロスコープ）を用いる。
【０１２４】
そして、この触覚・力覚提示装置２では、凹凸入力部（撮像手段）５３ａ、５３ｂにより周囲を撮像し、その撮像された周囲の画像に指に対応する部分が含まれている場合には、凹凸入力部５３ａ、５３ｂからの画像データ（映像データ）に基づいて指の位置を求め、このように撮像された周囲の画像に指に対応する部分が含まれていない場合には、各位置姿勢検出部２３により指の位置を検出し、各位置姿勢検出部２３からの情報に基づいて指の位置を求める。
【０１２５】
図１７に示すように、位置姿勢検出部２３は、ケーシング６０と、ケーシング６０内に設けられ、Ｘ軸の回りの角速度を検出するＸ方向検出センサ（第１の検出センサ）６１、Ｙ軸の回りの角速度を検出するＹ方向検出センサ（第２の検出センサ）６２及びＺ軸の回りの角速度を検出するＺ方向検出センサ（第３の検出センサ）６３とを有している。
【０１２６】
図１８に示すように、Ｚ方向検出センサ６３は、エリンバー（基台）６４と、エリンバー６４に設置された振動用の圧電素子（振動用圧電素子）６５及び検出用の圧電素子（検出用圧電素子）６６とで構成されている。このＺ方向検出センサ６３は、２本のワイヤ６７、６８により支持されている。
エリンバー６４の形状は、Ｚ軸方向に長い略直方体をなしており、その略直交する２つの面の一方に振動用圧電素子６５が設置され、他方に検出用圧電素子６６が設置されている。この場合、Ｙ軸に対して垂直な面に、振動用圧電素子６５が配置され、Ｘ軸に対して垂直な面に、検出用圧電素子６６が配置されているが、その配置を逆にしてもよい。
【０１２７】
このＺ方向検出センサ６３の振動用圧電素子６５に図１６に示す交流電源６９から交流電圧が印加されると、その振動用圧電素子６５は、Ｘ軸方向に振動（屈曲振動）し、これによりエリンバー６４もＸ軸方向に振動する。このとき、Ｚ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）が検出用圧電素子６６から検出される。
【０１２８】
なお、Ｘ方向検出センサ６１及びＹ方向検出センサ６２の構成は、Ｚ方向検出センサ６３と同様であるので、その説明は省略する。それらの作用は、Ｘ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）がＸ方向検出センサ６１の検出用圧電素子６６から検出され、Ｙ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）がＹ方向検出センサ６２の検出用圧電素子６６から検出される。
【０１２９】
図１６に示すように、位置姿勢検出部２３のＸ方向検出センサ６１によって検出されたＸ軸の回りの角速度に対応した信号（検出データ）と、Ｙ方向検出センサ６２によって検出されたＹ軸の回りの角速度に対応した信号（検出データ）と、Ｚ方向検出センサ６３によって検出されたＺ軸の回りの角速度に対応した信号（検出データ）とは、それぞれ、信号処理部２５の増幅部２５１にて増幅され、Ａ／Ｄ変換部２５２にてデジタル信号に変換された後、図２に示す信号送受信部２６に出力され、この信号送受信部２６により情報処理装置８に送信される。
情報処理装置８では、リアルグローブ２０から送信された信号を受信し、その信号（情報）に基づいて、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢、すなわち、各部の座標を導出し、その情報を所定の各処理において利用するために記憶部８５の所定の格納領域に保存する。
【０１３０】
次に、第４実施形態における画像処理装置１の動作（作用）について説明する。ここで、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を求める方法以外は、前述した第１実施形態と同様であるので、その説明は、省略する。
使用に先立って、ユーザは、まず、凹凸入力部５３ａ、５３ｂにより撮像される周囲の画像にリアルグローブ２０の指等の検出する部位に対応する部分が含まれるようにする。これにより、画像処理装置１において初期設定がなされる。
【０１３１】
この初期設定では、仮想空間表示装置５は、２台の画像取込装置（撮像手段）、すなわち、凹凸入力部（撮像手段）５３ａ、５３ｂによって周囲の画像を撮像して取り込み、情報処理装置８に対して撮像した画像データ（映像データ）を送信する。
この場合、凹凸入力部５３ａ、５３ｂにて撮像された画像にはリアルグローブ２０の指等の検出する部位に対応する部分が含まれているので、情報処理装置８は、凹凸入力部５３ａ、５３ｂにて撮像された画像、すなわち撮像された画像データに基づいて指等の位置及び姿勢（座標）を求める。この求められた位置及び姿勢は、それぞれ、基準位置及び基準姿勢、すなわち基準状態とされ、その基準位置及び基準姿勢の情報は、情報処理装置８の記憶部８５の所定の領域に保存される。
【０１３２】
初期設定が終了すると、使用可能状態となり、仮想空間表示装置５は、凹凸入力部（撮像手段）５３ａ、５３ｂによって周囲の画像を撮像して取り込み、情報処理装置８に対して撮像した画像データを送信する。
情報処理装置８の制御部８４（判別手段）は、凹凸入力部５３ａ、５３ｂにて撮像された画像、すなわち撮像された画像データに基づいて、凹凸入力部５３ａ、５３ｂにて撮像された画像にリアルグローブ２０の指等の検出する部位に対応する部分が含まれているか否かを判別する。
【０１３３】
そして、撮像された画像に指等の検出する部位に対応する部分が含まれている場合には、情報処理装置８は、撮像された画像データに基づいて指等の位置及び姿勢（座標）を求める。この求められた位置及び姿勢は、それぞれ、基準位置及び基準姿勢とされる。すなわち、記憶部８５に記憶されている基準位置及び基準姿勢の情報は、新たな基準位置及び基準姿勢の情報に書き換えられる。
【０１３４】
逆に、撮像された画像に指等の検出する部位に対応する部分が含まれていない場合には、情報処理装置８は、各位置姿勢検出部２３からの信号（情報）に基づいて、指等の位置及び姿勢（座標）を求める。この場合、各位置姿勢検出部２３からの情報からは、基準位置及び基準姿勢に対する相対的な位置及び姿勢が求まり、その相対的な位置及び姿勢の情報と、基準位置及び基準姿勢の情報とに基づいて、指等の位置及び姿勢が求められる。
【０１３５】
この触覚・力覚提示装置２及び画像処理装置１によれば、前述した第１実施形態と同様の効果が得られる。
そして、この触覚・力覚提示装置２では、手及び各指の所定の部位の位置及び姿勢を正確かつ確実に求めることができるとともに、位置姿勢検出部２３としてジャイロセンサを用いることにより、コストを低減することができる。
なお、本実施形態では、位置姿勢検出部（指位置検出手段）２３は、ジャイロセンサで構成されているが、本発明では、これに限定されない。
【０１３６】
また、本発明では、触覚発生部２１の単位触覚発生部２１０を、前述した第２実施形態のように構成してもよい。
また、本発明では、腕固定部２ｄを、前述した第３実施形態のように、空気（エアー）の注入による空気圧（圧力）により腕に固定する形態（エアー注入方式）のものにしてもよい。
なお、詳細には説明しないが、上述の構成を仮想空間表示装置５の位置姿勢検出部５６に適用することもできる。この場合にも、前述した第１実施形態と同様の効果が得られる。
【０１３７】
次に、図１９、図２０、図２２及び図２４のフローチャート並びに図２１、図２３及び図２５の概念図を参照して、上記実施形態の各構成、とりわけ第１実施形態の構成に基づいて、本発明の画像処理装置の動作を説明する。ここで、これらのフローチャートに記述されている各機能を実現するためのプログラムは、コンピュータに読み取り可能なプログラムコードの形態で記憶部８５の記録媒体に格納されており、制御部８４はこのプログラムコードに従った動作を逐次実行する。また、制御部８４は、上述のように、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態に特有の動作を実行することもできる。
【０１３８】
図１９及び図２０は、本発明の画像処理装置における商品表示処理を示すフローチャートであり、図２１は、本発明の画像処理装置におけるアプリケーション終了処理を示すフローチャートである。なお、これらのフローチャートは、第１の実施形態における各構成要素に基づいて説明される。
まず、図１９及び図２０を用いて商品表示処理を説明する。本発明の画像処理装置１は、電源が投入されて、仮想空間中に仮想のＰＣを表示し、ユーザがこのＰＣを使用しているとき、この商品表示処理を実行している。なお、実際の画像処理装置１では、キーボードの操作などをする処理も同時に実行されているが、説明の明確さのために、ＰＣ画面（液晶画面でもＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）でもよい）上に表示されている商品のアイコン（以下、単に「アイコン」と省略する場合もある）を仮想空間中に表示することに特化したフローチャートを用いて説明する。
【０１３９】
リアルグローブ２０は、位置姿勢検出部（指位置検出手段）２３によってユーザの指（及び手）の位置を検出し（ステップＳ１０１）、信号処理部２５で所定の信号処理を行った後、信号送受信部（通信手段）２６を介して検出された位置信号を情報処理装置８に送信する（ステップＳ１０２）。
情報処理装置８が信号送受信部（通信手段）８７を介してこの検出信号を受信すると、制御部８４は、検出された指の位置が、画像生成部（画像生成手段）８３において生成され、仮想空間表示装置（表示手段）５に既に送信した現在の仮想空間画像における指の位置（ここでは、記憶部８５に保存されている）から移動しているか否かを判断する（ステップＳ１０３）。指の移動を検知しないと判断された場合には、制御部８４は、何らの指示も出すことなく、画像処理装置１は、ステップＳ１０１に戻り、同様の処理を繰り返す。
【０１４０】
ステップＳ１０３において、指の移動を検知したと判断された場合には、制御部８４は、画像生成部８３にその指の位置データに基づいて仮想空間画像を更新して生成させ（ステップＳ１０４）、移動した指の位置データと更新された仮想空間画像データとを記憶部（記憶手段）８５の所定の格納領域に保存するとともに、信号処理部８６及び信号送受信部８７を介して更新された仮想空間画像データを仮想空間表示装置（ＨＭＤ、表示手段）５に送信する。この画像データを受信したＨＭＤ５は、制御部５４の指示により、その画像データを画像表示部５１ａ及び５１ｂに表示する（ステップＳ１０５）。ここまでの一連の処理は、本発明の画像処理装置１の電源が投入されている間、常時行われている。
【０１４１】
それと同時に、情報処理装置８では、衝突判定部（接触判定手段）８２は、制御部８４の指示により、仮想のＰＣ画面とユーザの指の座標が一致したか否か、すなわち、仮想のＰＣ画面とユーザの指が衝突（接触）したか否かを判断する（ステップＳ１０６）。そして、座標が一致していないと判断された場合には、画像処理装置１は、ステップＳ１０１に戻り、同様の処理を繰り返す。
【０１４２】
逆に、両者の座標が一致したと判断された場合には、演算処理部８１は、対象物（ここでは、ＰＣ画面）に基づいて、ＰＣ画面から指への反力を演算し、信号処理部８６及び信号送受信部８７を介してこの演算データをリアルグローブ２０に送信する。ここで、演算された反力データは、制御部８４の指示により、記憶部８５の所定の格納領域に保存される。反力の演算データを受信したリアルグローブ２０では、制御部２４は、その演算データに基づいて、触覚発生部２１及び力覚発生部２２（触覚提示手段、力覚提示手段）を駆動して触覚及び力覚を発生させ（ステップＳ１０７）、ユーザの指にその触覚及び力覚を提示させる。
【０１４３】
ステップＳ１０８において、仮想のＰＣ画面と指の座標が一致し、ユーザの指が触覚及び力覚を感じている状態において、衝突判定部８２は、ＰＣ画面上に表示されているアイコン（ここでは、商品のアイコン）と指の座標が一致したか否かを判断する。なお、フローチャートでは示されないが、指の位置は常に検出され、指が移動した場合には、画像生成部８３は、仮想空間画像を更新して生成している。ここで、「アイコンと指の座標が一致」とは、親指を含む複数本の指で所定のアイコンを掴んでいる状態をいう。
【０１４４】
アイコンと指の座標が一致していないと判断された場合には、衝突判定部８２は、今度は、ＰＣ画面と指との座標がずれたか否かを判断する（ステップＳ１０９）。実際には、仮想のＰＣ画面は平面であるので、指の座標がＰＣ画面の平面座標よりも手前にずれたか、すなわち、指がＰＣ画面と衝突しなくなったか否かを判断する。そして、制御部８４は、ＰＣ画面と指の座標がずれたと判断されたときは、リアルグローブ２０に対して、指に発生させていた触覚及び力覚を解除するための制御信号を信号送受信部８７に送信させ、リアルグローブ２０の制御部２４は、その制御信号に基づいて、触覚発生部２１及び力覚発生部２２から発生している触覚・力覚を解除させ（ステップＳ１１０）、一旦この商品表示処理を終了する。逆に、ＰＣ画面と指の座標がずれていないと判断されたときは、ステップＳ１０８に移行して同様の判断を繰り返す。
【０１４５】
ステップＳ１０８においてアイコンと指が一致したと判断された場合には、演算処理部８１は、アイコンから指への反力を演算し、信号処理部８６及び信号送受信部８７を介してこの演算データをリアルグローブ２０に送信する。ここで、演算された反力データは、制御部８４の指示により、記憶部８５の所定の格納領域に保存される。反力の演算データを受信したリアルグローブ２０では、制御部２４は、その演算データに基づいて、触覚発生部２１及び力覚発生部２２を駆動して触覚及び力覚を発生させ（ステップＳ１１１）、ユーザの指にその触覚及び力覚を提示させる。
【０１４６】
ステップＳ１１２において、制御部８４は、アイコンを掴んだまま、指がＰＣ画面から手前に移動されたか否かを判断する（特許請求の範囲では、同時に移動した場合を判定する接触判定手段に対応する）。すなわち、指がＰＣ画面の平面座標からずれてＰＣ画面の外側の手前に移動したか否かが判断される。指がＰＣ画面から手前に移動していないと判断された場合には、まだＰＣ画面に指が衝突している状態であるが、続いて、制御部８４は、アイコンと指の座標がずれたか否かを判断し（ステップＳ１１３）、それらがずれていないと判断された場合には、ステップＳ１１２に戻り、同様の判断を繰り返す。逆に、指とアイコンの座標がずれたと判断された場合には、今まで掴んでいたアイコン（商品のアイコン）が指から離されたことを意味するが、未だに指はＰＣ画面に衝突しているので、ステップＳ１０８に移行して、再度別のあるいは同じアイコンと指との座標が一致するか否かが判断される。
【０１４７】
ステップＳ１１２において指が手前に移動したと判断された場合には、制御部８４は、続けてアイコンと指の座標がずれたか否かを判断する（ステップＳ１１４）。それらがずれていないと判断されたときは、ＰＣ画面内にそのアイコンを戻す場合も考えられるために、ＰＣ画面と指の座標が再度一致したか否かが判断され（ステップＳ１１５）、それらの座標が一致しないと判断された場合には、ステップＳ１１４に移行して同様の判断が繰り返される。逆に、ＰＣ画面と指の座標が一致したと判断されたときは、ステップＳ１１１に移行して触覚・力覚提示装置２により再度触覚及び力覚を発生して、ユーザの指に提示される。ここで、アイコンと指の座標がずれていないときの一連の動作では、ユーザの指にアイコンが掴まれた状態であり、そのときにＰＣ画面と指の座標が一致すると、そのＰＣ画面上に、ユーザの指に掴まれたままでアイコンが表示されている。
【０１４８】
ステップＳ１１４においてアイコンと指の座標がずれたと判断された場合には、衝突判定部８２は、アイコンと指が衝突していないと判定し、リアルグローブ２０の制御部２４は、その判定結果に基づいて、触覚発生部２１及び力覚発生部２２に触覚及び力覚を解除させる（ステップＳ１１６）。そして、制御部８４は、ＰＣ画面から取り出されたアイコンに関連付けられている商品を仮想空間に表示させるように、画像生成部８３に指示する。生成された画像データは、信号処理部８６及び信号送受信部８７を介して、ＨＭＤ５に送信される。ＨＭＤ５では、画像表示部５１ａ、５１ｂがその画像データに基づいて、仮想の商品を仮想空間画像中に表示し（ステップＳ１１８）、この商品表示処理を終了する。
【０１４９】
なお、仮想空間中で仮想の商品のアイコンをユーザが掴んでいる状態の一例を図２１に示す。この状態は、上述の商品表示処理におけるステップＳ１１１の状態に対応している。
なお、この商品表示処理では、指でアイコン（商品のアイコン）を掴み出すことにより、所望の商品を仮想空間中に実物大で表示することとしたが、指をポインタに見立てて仮想のＰＣ画面上のアイコンにタッチすることにより、その商品が仮想空間中に表示されることとしてもよい。
【０１５０】
次に、図２２〜図２５を用いて適正位置判定処理について説明する。なお、この適正位置判定処理は、上述の商品表示処理が実行され、仮想空間中に仮想の商品が表示している状態において実行される。また、ユーザの指の移動に伴って仮想空間画像が更新して作成され、それを仮想空間表示装置５が表示する処理については、上述の商品表示処理のステップＳ１０１〜Ｓ１０５と同様であるので、ここでは一部省略するが、この適正位置判定処理とともに、商品表示処理の一部（特に、仮想空間画像の更新処理など）が実行されている。
【０１５１】
まず、適正位置判定処理の一例を図２２及び図２３を用いて説明する。リアルグローブ２０は、位置姿勢検出部（指位置検出手段）２３によってユーザの指（及び手）の位置を検出し（ステップＳ２０１）、信号処理部２５で所定の信号処理を行った後、信号送受信部（通信手段）２６を介して検出された位置信号を情報処理装置８に送信する。
【０１５２】
ステップＳ２０２において、制御部８４は、上記商品表示処理において仮想空間中に表示されている仮想の商品の所定の位置と指の座標が一致したか否か、すなわち、ユーザの指が仮想の商品の所定の位置に接触しているか（触れているか）否かを判断する。ここで、「所定の位置」とは、このフローチャートのように仮想の商品が電動ドリルである場合、例えば、その仮想の電動ドリルの駆動をオン／オフすることができる位置、すなわち、仮想の電動ドリルのスイッチの位置である。
【０１５３】
両者の座標が一致していないと判断された場合には、ステップＳ２０１に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部８４は、続いて、上記とは別の指（通常、所定の位置に触れている手と反対の手のいずれかの指）と不適正な位置の座標が一致したか否か、すなわち、その別の指が仮想の商品の不適正な位置に接触しているか（触れているか）否かを判断する（ステップＳ２０３、適正位置判定手段）。ここで、「不適正な位置」とは、このフローチャートのように仮想の商品が電動ドリルである場合、例えば、その電動ドリルのチャック（ドリルチャック）の位置（部分）である。
【０１５４】
この両者の座標が一致していないと判断された場合には、ステップＳ２０１に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部８４は、両者が不適正な位置関係（不適切な位置関係）にあると判断し、その不適正な位置にある指の指腹に通常のチャックを触ったときの感触とは異なる感触を与えるように、信号処理部８６及び信号送受信部８７を介して所定の制御信号（駆動信号）をリアルグローブ２０に送信する。そして、リアルグローブ２０は、その所定の制御信号に基づいて、不適正な位置にある指の指腹部に異なる触覚（例えば、生け花の剣山に触れたときのような触覚など）を触覚発生部２１に発生させ、その触覚を対象の指に提示する（ステップＳ２０４）。
【０１５５】
ここで、「不適正な位置関係」とは、上述のように、一方の指（手）で電動ドリルのスイッチの位置に触れたまま、他方の指（手）でその電動ドリルのドリルチャックを触っているような位置関係をいう。この不適正な位置関係の状態の概念図を図２３に示す。実際の電動ドリルを扱っている場合において、ドリルチャックに触れながら誤って電動ドリルのスイッチをオンすると、ユーザが大けがをしてしまうので、このような間違った取り扱いをさせないために、本発明の触覚・力覚提示方法では、対象となる指に通常とは異なる触覚を与えている。したがって、本発明の画像処理装置及び触覚・力覚提示方法によって、仮想空間中の実体験により商品の正しい取り扱い方法を習得することができる。
【０１５６】
また、制御部８４は、不適正な位置（仮想の電動ドリルのドリルチャックの位置）にある指をその不適正な位置から遠ざけるように、信号処理部８６及び信号送受信部８７を介して所定の制御信号（駆動信号）をリアルグローブ２０に送信する。そして、リアルグローブ２０は、その所定の制御信号に基づいて、不適正な位置にある指をその不適正な位置から遠ざけるような力覚を力覚発生部２２に発生させ、それを対象の指に提示する（ステップＳ２０５）。
【０１５７】
さらに、制御部８４は、仮想空間中の所定の位置（例えば、ドリルチャックの近傍など）に所定のメッセージ（例えば、警告文「電動ドリルのスイッチに指をかけたまま、ドリルチャックの操作をしないこと」など）を表示するように、画像生成部８３にメッセージの画像を生成させ、それを仮想空間画像と重ね合わせた画像データを仮想空間表示装置５に送信する。そして、仮想空間表示装置５は、その警告のメッセージを含む仮想空間画像を画像表示部５１ａ、５１ｂに表示させる（ステップＳ２０６）。
【０１５８】
なお、この適正位置判定処理では、ステップＳ２０４〜Ｓ２０６の各処理（触覚提示、力覚提示及びメッセージ表示）の一部が省略されてもよい。また、このフローチャートでは示していないが、指が不適正な位置関係を脱すると、触覚及び力覚の提示が解除され、警告メッセージが消えて、この適正位置判定処理を終了する。
【０１５９】
次に、適正位置判定処理の別の例を図２４及び図２５を用いて説明する。ここでは、仮想の商品として木材や金属をカットするジグソーを用いて説明する。上述の例と同様に、リアルグローブ２０は、位置姿勢検出部（指位置検出手段）２３によってユーザの指（及び手）の位置を検出し（ステップＳ３０１）、信号処理部２５で所定の信号処理を行った後、信号送受信部（通信手段）２６を介して検出された位置信号を情報処理装置８に送信する。
【０１６０】
ステップＳ３０２において、制御部８４は、上記商品表示処理において仮想空間中に表示されている仮想のジグソーの所定の位置と指の座標が一致したか否か、すなわち、ユーザの指が仮想のジグソーの所定の位置に接触しているか（触れているか）否かを判断する。ここで、「所定の位置」とは、例えば、仮想のジグソーの駆動をオン／オフすることができる位置、すなわち、仮想のジグソーのスイッチの位置である。
【０１６１】
両者の座標が一致していないと判断された場合には、ステップＳ３０１に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部８４は、続いて、上記とは別の指（通常、所定の位置に触れている手と反対の手のいずれかの指）と不適正な位置の座標が一致したか否か、すなわち、その別の指が仮想の商品の不適正な位置に接触しているか（触れているか）否かを判断する（ステップＳ３０３、適正位置判定手段）。ここで、「不適正な位置」とは、このフローチャートのように仮想の商品がジグソーである場合、例えば、そのジグソーの刃の位置（部分）である。
【０１６２】
この両者の座標が一致していないと判断された場合には、ステップＳ３０１に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部８４は、両者が不適正な位置関係にあると判断し、その不適正な位置にある指の指腹に通常のジグソーの刃を触ったときの感触とは異なる感触を与えるように、信号処理部８６及び信号送受信部８７を介して所定の制御信号（駆動信号）をリアルグローブ２０に送信する。そして、リアルグローブ２０は、その所定の制御信号に基づいて、不適正な位置にある指の指腹部に異なる触覚（例えば、生け花の剣山に触れたときのような触覚など）を触覚発生部２１に発生させ、その触覚を対象の指に提示する（ステップＳ３０４）。
【０１６３】
ここで、「不適正な位置関係」とは、上述のように、一方の指（手）でジグソーのスイッチの位置に触れたまま、他方の指（手）でそのジグソーの刃を触っているような位置関係をいう。この不適正な位置関係の状態の概念図を図２５に示す。実際のジグソーを扱っている場合において、ジグソーの刃に触れながら誤ってジグソーのスイッチをオンすると、ユーザが大けがをしてしまうので、このような間違った取り扱いをさせないために、本発明の触覚・力覚提示方法では、対象となる指に通常とは異なる触覚を与えている。したがって、本発明の画像処理装置及び触覚・力覚提示方法によって、仮想空間中の実体験により商品の正しい取り扱い方法を習得することができる。
【０１６４】
また、制御部８４は、不適正な位置（仮想のジグソーの刃の位置）にある指をその不適正な位置から遠ざけるように、信号処理部８６及び信号送受信部８７を介して所定の制御信号（駆動信号）をリアルグローブ２０に送信する。そして、リアルグローブ２０は、その所定の制御信号に基づいて、不適正な位置にある指をその不適正な位置から遠ざけるような力覚を力覚発生部２２に発生させ、それを対象の指に提示する（ステップＳ３０５）。
【０１６５】
さらに、制御部８４は、仮想空間中の所定の位置（例えば、ジグソーの刃の近傍など）に所定のメッセージ（例えば、警告文「ジグソーのスイッチに指をかけたまま、ジグソーの刃の操作をしないこと」など）を表示するように、画像生成部８３にメッセージの画像を生成させ、それを仮想空間画像と重ね合わせた画像データを仮想空間表示装置５に送信する。そして、仮想空間表示装置５は、その警告のメッセージを含む仮想空間画像を画像表示部５１ａ、５１ｂに表示させる（ステップＳ３０６）。
【０１６６】
なお、この適正位置判定処理では、ステップＳ３０４〜Ｓ３０６の各処理（触覚提示、力覚提示及びメッセージ表示）の一部が省略されてもよい。また、このフローチャートでは示していないが、指が不適正な位置関係を脱すると、触覚及び力覚の提示が解除され、警告メッセージが消えて、この適正位置判定処理を終了する。
【０１６７】
以上説明したように、本発明の画像処理装置１は、位置姿勢検出部（指位置検出手段）２３により指の位置及び移動を検知（検出）し、仮想空間画像中に表示される仮想の対象物（実施形態では、電動ドリルやジグソー）の所定の位置（例えば、そのスイッチの位置）と指との座標が一致した（指が仮想の対象物のスイッチに接触した）場合において、別の指が対象物の不適正な位置（例えば、電動ドリルのドリルチャックやジグソーの刃の位置）に接触している（触れている）とき、触覚・力覚提示装置２により通常とは異なる触覚・力覚を発生させ、仮想空間表示装置５により警告のメッセージを仮想空間の所定の位置に表示させることとした。
【０１６８】
したがって、本発明の画像処理装置１及び触覚・力覚提示方法によって、仮想空間に表示されている対象物を取り扱うとき、その対象物が不適切に用いられた場合に、ユーザに注意を喚起することができるので、例えば、商品の正しい取り扱い方法を仮想空間中の実体験により習得し、あるいは、インターネットなどのネットワークを介した通信販売において、商品を実体験を伴って選択することができる。
【０１６９】
以上、本発明の画像処理装置の構成を、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明の画像処理装置は、上述の各実施形態の任意の２以上の構成（特徴）を適宜組み合わせて構成されてもよい。
【図面の簡単な説明】
【図１】本発明の触覚・力覚提示装置の第１実施形態及びその触覚・力覚提示装置を有する画像処理装置の構成例を示す概念図である。
【図２】図１に示すリアルグローブの回路構成例を示すブロック図である。
【図３】図１に示すリアルグローブの外観構成例を示す外観図（一部図示を省略）である。
【図４】図１に示すリアルグローブの触覚発生部の構成例を示す縦断面図である。
【図５】図１に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図６】図１に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図７】図１に示すリアルグローブの位置姿勢検出部の構成例を示すブロック図である。
【図８】図１に示す仮想空間表示装置の外観構成例を示す斜視図である。
【図９】図１に示す仮想空間表示装置の回路構成例を示すブロック図である。
【図１０】図１に示す仮想空間表示装置の凹凸入力部の構成例を示す図（ブロック図、模式図）である。
【図１１】図１に示す仮想空間表示装置の画像表示部の構成例を示す図（ブロック図、模式図）である。
【図１２】図１に示す仮想空間表示装置の視線検出部の構成例を示す図（ブロック図、模式図）である。
【図１３】図１に示す情報処理装置の回路構成例を示すブロック図である。
【図１４】第２実施形態の触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
【図１５】第３実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図（一部図示を省略）である。
【図１６】第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図である。
【図１７】第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図（一部図示を省略）である。
【図１８】図１７に示す位置姿勢検出部のＺ方向検出センサの構成例を示す外観図である。
【図１９】本発明の画像処理装置における商品表示処理の一部を示すフローチャートである。
【図２０】本発明の画像処理装置における商品表示処理の一部を示すフローチャートである。
【図２１】本発明の画像処理装置における仮想空間中のＰＣ画面に表示された商品を掴む場合の概念図の一例である。
【図２２】本発明の画像処理装置における適正位置判定処理の一例を示すフローチャートである。
【図２３】本発明の画像処理装置における仮想空間中の電動ドリルを取り扱っている場合の概念図の一例である。
【図２４】本発明の画像処理装置における適正位置判定処理の他の例を示すフローチャートである。
【図２５】本発明の画像処理装置における仮想空間中のジグソーを取り扱っている場合の概念図の一例である。
【符号の説明】
１……画像処理装置  ２……触覚・力覚提示装置  ２ａ……手袋  ２ｂ……フレームホルダ  ２ｃ……フレームカバー  ２ｄ……腕固定部  ２０……リアルグローブ  ２０ａ……筒状部  ２１……触覚発生部  ２１ａ……開口  ２１ｄ……腕固定部本体  ２１０……単位触覚発生部  ２１１……動力発生部  ２１１ａ……モータ  ２１２……アクチュエータワイヤ  ２１２ａ……束  ２１３……ワイヤ保持部  ２１４……触覚提示ピン  ２１４ａ……接触板  ２１４ｂ……支持部
２１５……触覚提示ピン支持部  ２１６……触覚提示部  ２１６ａ……第１の板片  ２１６ｂ……第２の板片  ２１６ｃ……接触部  ２１７……ガイド部  ２１８……押え板  ２２……力覚発生部  ２２ｄ……エアー注入部  ２２１……フレーム  ２２２……リンクモータ  ２３……位置姿勢検出部  ２３ｄ……蓋体
２３１……Ｘ方向検出コイル  ２３２……Ｙ方向検出コイル  ２３３……Ｚ方向検出コイル  ２４……制御部  ２５……信号処理部  ２５１……増幅部  ２５２……Ａ／Ｄ変換部  ２６……信号送受信部  ２７……遊び吸収部  ２８……手首固定部  ２９……ねじれ吸収部  ２９１……帯状部  ２９２……開口  ３０……電力供給部  ５……仮想空間表示装置  ５１ａ、５１ｂ……画像表示部  ５１１……レンズ  ５１２……レンズ移動機構  ５１３……ステッピングモータ  ５１４……モータ制御部  ５１５……液晶表示パネル  ５１６……液晶駆動部  ５１７……バックライト  ５１８……バックライト制御部  ５１９……トランジスタ
５２ａ、５２ｂ……視線検出部  ５２１……ハーフミラー  ５２２……フィルタ  ５２３……レンズ  ５２４……ＣＣＤ  ５２５……ＣＣＤ制御部  ５２６……ＣＣＤ出力増幅部  ５２７……ＬＥＤ  ５２８……ＬＥＤ制御部  ５２９……トランジスタ  ５３ａ、５３ｂ……凹凸入力部  ５３１……レンズ  ５３２……ＣＣＤ  ５３３……ＣＣＤ制御部  ５３４……ＣＣＤ出力増幅部  ５４……制御部  ５５……信号送受信部  ５６……位置姿勢検出部  ５７……装着部  ５８……信号処理部  ５９……三次元加速度センサ  ６０……ケーシング  ６１……Ｘ方向検出センサ  ６２……Ｙ方向検出センサ  ６３……Ｚ方向検出センサ  ６４……エリンバー  ６５……振動用圧電素子  ６６……検出用圧電素子  ６７、６８……ワイヤ  ６９……交流電源  ８……情報処理装置  ８１……演算処理部
８２……衝突判定部  ８３……画像生成部  ８４……制御部  ８５……記憶部
８６……信号処理部  ８７……信号送受信部  ８８……磁界発生部  ９……基地局
【図１】
2004318399.tif 000003
【図２】
2004318399.tif 000004
【図３】
2004318399.tif 000005
【図４】
2004318399.tif 000006
【図５】
2004318399.tif 000007
【図６】
2004318399.tif 000008
【図７】
2004318399.tif 000009
【図８】
2004318399.tif 000010
【図９】
2004318399.tif 000011
【図１０】
2004318399.tif 000012
【図１１】
2004318399.tif 000013
【図１２】
2004318399.tif 000014
【図１３】
2004318399.tif 000015
【図１４】
2004318399.tif 000016
【図１５】
2004318399.tif 000017
【図１６】
2004318399.tif 000018
【図１７】
2004318399.tif 000019
【図１８】
2004318399.tif 000020
【図１９】
2004318399.tif 000021
【図２０】
2004318399.tif 000022
【図２１】
2004318399.tif 000023
【図２２】
2004318399.tif 000024
【図２３】
2004318399.tif 000025
【図２４】
2004318399.tif 000026
【図２５】
2004318399.tif 000027