(57)【要約】  触覚アレイは、ラージスケール力フィードバック装置が一体化される。ソフトウェア制御下で、ラージスケール力フィードバック装置はラージスケール形状情報を提供し、一方、触覚ディスプレイは微細構造物および表面テクスチャ（４１０）を提供する。バーチャルリアリティ環境において、「触覚マップ」（４２０）の概念が使用される。触覚マップは表面詳細を提供し、触覚アレイによってレンダーされる。触覚マップは実際の物体の表面特性に基づいてもよく、または、アプリケーション基づいて任意に生成されてもよい。操作において、物体との衝突の効果が生成され、接触の点が注記される。触覚マップ上の対応する場所は同一であり、表面特徴は触覚アレイにレンダーされる。接触の点を動かすと、レンダーされている触覚マップの対応する部分が変化する。
2005509903.tif 000002
【特許請求の範囲】
【請求項１】
マルチ触覚ハプティック感覚機械であって、
力フィードバック要素と、
前記力フィードバック要素に接続された１つ以上の触覚アレイと、
を具備し、
前記力フィードバック要素はラージスケール力をシミュレートし、前記１つ以上の触覚アレイは１つ以上の表面特性をシミュレートするマルチ触覚ハプティック感覚機械。
【請求項２】
前記１つ以上の触覚アレイを１つ以上の身体部分に接触して保持するための締結具をさらに具備する請求項１に記載の機械。
【請求項３】
前記１つ以上の身体部分は指である請求項２に記載の機械。
【請求項４】
前記１つ以上の身体部分は手である請求項２に記載の機械。
【請求項５】
各触覚アレイの位置を決定するための位置づけ要素をさらに具備する請求項１から４のいずれか一項に記載の機械。
【請求項６】
マルチ触覚インタフェースシステムであって、
請求項１に記載のハプティックインタフェースと、
バーチャルリアリティジェネレータと、
を具備し、
前記ジェネレータは、前記ラージスケール力の大きさと、表面テクスチャの少なくとも１種類と、に相関する１つ以上の電気信号を生成するマルチ触覚インタフェースシステム。
【請求項７】
前記バーチャルリアリティジェネレータは、バーチャル環境で１つ以上の物体の１つ以上の触覚マップを生成する請求項６に記載のシステム。
【請求項８】
前記バーチャルリアリティジェネレータは、少なくとも１つの位置を前記１つ以上の触覚マップ上の場所に連結する請求項６または７に記載のシステム。
【請求項９】
前記力の大きさおよび前記表面の種類は、前記１つ以上の触覚マップ上の前記場所によって決定される請求項６から８のいずれか一項に記載のシステム。
【請求項１０】
前記シミュレートされた環境を見るためのビデオヘッドセットをさらに具備する請求項６から９のいずれか一項に記載のシステム。
【請求項１１】
前記ビデオヘッドセットに提供された画像は、前記シミュレートされた環境の前記１つ以上の触覚アレイの位置に対応する請求項１０に記載のシステム。
【請求項１２】
可変温度情報を提供する前記インタフェースに接続された加熱要素をさらに具備する請求項６から１１のいずれか一項に記載のシステム。
【請求項１３】
前記提供された温度情報は、前記バーチャル環境の前記場所の温度をシミュレートする請求項１２に記載のシステム。
【請求項１４】
バーチャル環境の物体の触覚マップを提供するステップと、
触覚インタフェースの位置を決定するステップと、
前記位置に対応する前記触覚マップ上の場所を識別するステップと、
前記場所に関連したラージスケール力および表面テクスチャを生成するステップと、
を含む計算方法。
【請求項１５】
前記触覚インタフェースの位置の変化を追跡するステップと、
前記変化に対応する前記ラージスケール力および前記表面テクスチャを修正するステップと、
をさらに含む請求項１４に記載の方法。
【請求項１６】
前記触覚インタフェースの位置の変化は、前記バーチャル環境の変化に対応する請求項１５に記載の方法。
【請求項１７】
医学的エクササイズをシミュレートするための方法であって、
力フィードバック要素と前記力フィードバック要素に接続された１つ以上の触覚アレイと各触覚アレイの位置を決定するための位置づけ要素とを具備し、前記力フィードバック要素と前記１つ以上の触覚アレイとが、前記位置の関数としてラージスケール力と表面テクスチャとの両方をシミュレートするマルチ触覚ハプティックインタフェース機械にユーザを接続するステップと、
前記機械で前記医学的エクササイズを実行するステップと、
を含む方法。
【請求項１８】
前記医学的エクササイズは、外科的処置である請求項１７に記載の方法。
【請求項１９】
前記機械は、複数の医学的エクササイズをシミュレートする請求項１７または１８に記載の方法。
【請求項２０】
シミュレートされたエクササイズを実行するための方法であって、
請求項１に記載のマルチ触覚ハプティックインタフェース機械にユーザを接続するステップと、
前記機械で前記エクササイズを実行するステップと、
を含む方法。
【請求項２１】
前記シミュレートされたエクササイズは、バーチャルリアリティゲームである請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は主に、単一インタフェースにおけるラージスケール力およびテクスチャに関する触覚をシミュレートするための方法および装置に関する。
【背景技術】
【０００２】
ハプティックインタフェースは、触感（たとえば、接触力、温度、湿度および電気インパルス）および力フィードバックを与えるためのシステムであり、それによってコンピュータは、ユーザの触覚をシミュレートするのを可能にする。ハプティックインタフェース装置を使用して、感覚フィードバックを高め、テレロボティクスのアプリケーションおよびバーチャルリアリティ（米国特許第５，７７１，１８１号）を有する。現在のハプティックインタフェース装置は、限られた範囲の力および感覚のみが可能である。たとえば、ラージスケールハプティックたとえばラージスケール接触力か、または、スモールスケールハプティックたとえば繊細な接触力かのいずれかをシミュレートすることができるが、一般に両方はできない。
【０００３】
テレロボットは、対になったマスターおよびスレーブのユニットから構成され、各ユニットは異なる環境に位置している。たとえば、テレロボットは、人間のオペレータを保護するために、危険な環境で使用されることができる。この状況で、オペレータは安全な場所で保護され、一方、スレーブユニットは危険な場所で操作する。マスターユニットは、人間のオペレータがその腕を置く制御リンケージを有する。スレーブユニットには典型的にロボットアームが装備される。スレーブは、マスター制御リンケージの動きを模倣する。スレーブユニットのアームが壁等の固い物体に当たるときには、ハプティックフィードバックを備えたマスターユニットはそのマスターリンケージの動きを止め、衝突をシミュレートする。同様に、スレーブユニットが重い物体を揚げるときには、マスターリンケージはその抵抗を高め、必要なより大きな力をシミュレートする。
【０００４】
バーチャル環境の真実性はハプティックインタフェースの存在によって高められるため、バーチャルリアリティアプリケーションもまたハプティックインタフェースから利益を得る。たとえば、ハプティックインタフェースを使用して、皮膚を通って進む針の抵抗をシミュレートし、または、前立腺または胸部の検査における固い癌組織をシミュレートする。正確にシミュレートするハプティックは、複雑な作業である。たとえば、ラージスケールハプティックとスモールスケールハプティックとの間を変動する力の範囲は大きい。特に、重量および様々な種類の表面との衝突を規定するラージスケール力は、滑らかな、粗い、および、粘りけがある表面テクスチャを規定する微妙な力よりも、少なくとも数桁大きい。
【０００５】
センシブルテクノロジーズ社（Ｓｅｎｓｉｂｌｅ  Ｔｅｃｈｎｏｌｏｇｉｅｓ，  Ｉｎｃ．）は、ラージスケール力ハプティックフィードバックをシミュレートするための「ファントム（Ｐｈａｎｔｏｍ）」と称される装置を提供する。ファントムは、点接触力をシミュレートするように設計された力フィードバック装置である。数種類の異なるファントムが利用可能であり、主にカバーされる空間の容量が異なる。図１は、ファントム装置１１０、１２０および１３０を例示する。操作において、ユーザは、エンドエフェクタ（図面の１１１、１２１、１３１）によってファントムを把持し、これは、ジョイントの配列によってファントムに接続されたペン状接着である。各ジョイントのセンサが、エンドエフェクタの位置および配向をホストコンピュータへ報告する。加えて、装置上のアクチュエータが、様々な効果を再生する力を生成することができる。エンドエフェクタを使用してバーチャル空間を探索することによって、装置はユーザに、様々な物体に触るという感覚を提供する。ファントムは、変動する硬度の表面との衝突、変動する粘度の媒体を通る運動、および、いくつかの表面特性、たとえば摩擦のない表面、滑らかな表面または瘤のある表面をシミュレートすることができる。米国特許第５，８９８，５９９号、第５，６２５，５７６号および第５，５８７，９３７号参照。他の種類の従来の力フィードバック装置は、米国特許第５，３５４，１６２号、第５，７８４，５４２号、第５，９１２，６５８号、第６，０４２，５５５号、第６，１８４，８６８号、第６，２１９，０３２号、および第５，７３４，３７３号に記載されている。
【０００６】
力フィードバック装置の不利点は、限定されたフィードバックしか利用可能ではないことである。そのような装置は、スティック等のポインティング装置で環境を「触る」という等価をシミュレートする。バーチャルリアリティのより進んだアプリケーションでは、たとえば、繊細なテクスチャ情報および他の感覚のフィードバックが外科医に重要である医学的な処置をシミュレートする場合には、これは、不適切である。たとえば、従来の装置で前立腺腫瘍の触診をシミュレートするのは、不可能ではないとすれば、困難である。微妙な接触力および指先によって検出可能である物体テクスチャは、これらの装置を使用して正確に複製することはできない。同様に、温度および湿度等の他の感覚を複製することはできない。
【０００７】
表面感覚をシミュレートする１つの従来の技術は、規則的なグリッドパターンに配列されたテクスチャ要素のアレイを使用することである。テクスチャ要素は、点で感覚を生成することができる。感覚は、接触力、熱、冷、電気その他を含む。要素の群を起動することによって、様々なパターンの感覚が生成されてもよい。触覚アレイは例である。そのテクスチャ要素は、昇降されてもよいピンから構成される。ユーザの指は、アレイの表面に接触する。揚げられたピンの構成および高さに依存して、異なる種類のテクスチャがシミュレートされてもよい。触覚アレイの共通アプリケーションは、電子的に駆動された点字ディスプレイ（Ｂｒａｉｌｌｅ  ｄｉｓｐｌａｙ）である。触覚アレイは、大きくてもよく、たとえば掌のサイズほどであってもよく、または、小さくてもよく、たとえば、指先のサイズであってもよい。それらは典型的に多数のピンを含み、静的に装着される。米国特許第５，１６５，８９７号には、指先に接着することができる触覚ディスプレイ装置が記載されている。他の種類の触覚ディスプレイは、米国特許第５，５８３，４７８号、第５，５６５，８４０号、第５，８２５，３０８号、第５，３８９，８４９号および第５，０５５，８３８号に記載されている。
【０００８】
バータッチ社（ＶｉｒＴｏｕｃｈ  Ｌｔｄ．）は、繊細なテクスチャをシミュレートするためのハプティックマウスを開発した。マウスは、図２で２１０として示され、３つの触覚アレイ２３０、２４０、２５０を含む。操作において、ユーザの人差し指および薬指がアレイ上にあるままである。マウスを動かすと各アレイのテクスチャが変わり、ユーザはコンピュータデスクトップに表示されるアイコンおよび他の物体の外形を感じることができる。この装置は、コンピュータを使用する際に損なわれる画像を補助するのに特に適している。しかし、装置は、変動する硬度の表面に衝突することから発生するような著しいラージスケール力に関するユーザフィードバックを提供することができないため、不利点は存在する。他の種類の類似の従来のハプティックコンピュータインタフェース装置は、米国特許出願公開第２００１／０００２１２６号および第２００１／００００６６３号、および、米国特許第５，８９８，５９９号、第５，６２５，５７６号および第５，５８７，９３７号に記載されている。
【０００９】
バーチャル医学的処置等の高度なアプリケーションは、従来の装置がシミュレートすることができないマルチ触感を必要とするため、ラージスケール力と微妙な接触力およびテクスチャとの両方をシミュレートすることができる単一のハプティックインタフェースの必要性が存在する。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、現在の方針および設計に関連する問題および不利点を克服し、高いハプティック忠実度でラージスケールハプティックとスモールスケール感覚との両方をシミュレートするハプティックインタフェースを提供するシステム、装置および方法を提供する。
【課題を解決するための手段】
【００１１】
本発明の１つの実施の形態は、力フィードバック要素と、力フィードバック要素に接続された１つ以上の触覚アレイと、各触覚アレイの位置を決定するための位置づけ要素と、を具備し、力フィードバック要素と１つ以上の触覚アレイとが、位置の関数としてラージスケール力と表面テクスチャとの両方をシミュレートするマルチ触覚ハプティックインタフェース機械に関する。機械は、１つ以上の人体の部分たとえば指または手を、１つ以上の触覚アレイにさらに連結させてもよい。ラージスケールハプティック装置（またはスモールスケール触覚フィードバック装置）の利点は、大容量の空間が必要ないことである。別の利点は、動態作用の非常に拡大した範囲である。別の利点は、ラージスケール力を様々な他の微妙な感覚に組み合わせることができることである。
【００１２】
本発明の別の実施の形態は、ハプティックインタフェースとバーチャルリアリティジェネレータとを具備し、ジェネレータは、ラージスケール力の大きさおよび／または表面テクスチャの種類に相関する１つ以上の電気信号を生成するマルチ触覚インタフェースシステムを具備する。バーチャルリアリティジェネレータは、バーチャル環境で１つ以上の物体の１つ以上の触覚マップを生成してもよく、位置を１つ以上の触覚マップ上の場所に連結してもよく、または、力の大きさおよび表面の種類は、１つ以上の触覚マップ上の場所によって決定される。システムの別の実施の形態は、ユーザへ温度情報を提供する装置を具備する。提供された温度情報は、バーチャル環境の様々な場所の温度をシミュレートする。システムの別の実施の形態は、空間におけるその場所に依存してユーザの手に電気刺激を提供する装置を具備する。そのようなシステムは、医学的にシミュレートされた研修、娯楽およびバーチャルリアリティゲームに使用されてもよい。
【００１３】
本発明の別の実施の形態は、バーチャル環境における物体の触覚マップを提供するステップと、触覚インタフェースの位置を決定するステップと、その位置に対応する触覚マップ上の場所を識別するステップと、その場所に関連したラージスケール力および表面テクスチャを生成するステップと、を含む方法に関する。そのような方法は、触覚インタフェースの位置の変化を追跡するステップと、その変化に対応するラージスケール力および表面テクスチャを修正するステップと、をさらに含んでもよい。
【００１４】
本発明の別の実施の形態は、本発明のマルチ触覚ハプティックインタフェース機械にユーザを接続することによってエクササイズをシミュレートし、そのエクササイズを実行するための方法に関する。エクササイズは、医学的な研修たとえば外科的研修用であってもよく、または、単に、バーチャルリアリティゲームを実行する等の娯楽のためのものであってもよい。
【００１５】
本発明の他の実施の形態および利点は、部分的には下記の説明に述べられており、且つ、部分的にはこの説明から明らかであってもよく、または、本発明を実施することにから学んでもよい。
【発明を実施するための最良の形態】
【００１６】
本願に体現され広く説明されるように、本発明は、装置で触覚をシミュレートするための方法およびシステムに関する。より具体的には、本発明は、高いハプティック忠実度のためにラージスケールハプティックとスモールスケール感覚との両方をシミュレートするハプティックインタフェースを提供するシステム、装置および方法に関する。
【００１７】
本発明の１つの実施の形態は、力フィードバック要素と、力フィードバック要素に接続された１つ以上の触覚アレイと、各触覚アレイの位置を決定するための位置づけ要素と、を具備し、力フィードバック要素と１つ以上の触覚アレイとが、位置の関数としてラージスケール力と表面テクスチャとの両方をシミュレートするマルチ触覚ハプティックインタフェース機械に関する。機械は、１つ以上の人体の部分たとえば指または手を、１つ以上の触覚アレイにさらに連結させてもよい。ラージスケールハプティック装置（またはスモールスケール触覚フィードバック装置）の利点は、大容量の空間が必要ないことである。別の利点は、動態作用の非常に拡大した範囲である。別の利点は、ラージスケール力を様々な他の微妙な感覚に組み合わせることができることである。
【００１８】
好適な実施の形態は、主に、ラージスケール力フィードバックおよびスモールスケール触感をレンダリングするバーチャルリアリティアプリケーションにおけるハンドセットに焦点を合わせる。本発明は、他のアプリケーションで行われてもよく、身体の他の部分たとえば手首、１つ以上のつま先、額、頬、首、胴体、腕、脚、足、耳および他の皮膚表面に、触感を提供する。本発明の望ましい実施の形態は、ラージスケール力フィードバック装置が一体化された微細触覚アレイを特徴とする。そのような一体化は、ラージスケール形状情報と微細表面テクスチャとの両方を提供する。好適な実施の形態において、触覚アレイは、ラージスケール力フィードバック装置のエンドエフェクタに配置される。ラージスケール力触覚装置を備えた触覚アレイを第２のハプティック装置として、単一の機械ユニット内に結合することによって、非常に拡大した範囲の触覚効果を再生することができる。結果として、高いハプティック忠実度が得られる。たとえば、本発明の実施の形態による装置は、１ｃｍから１０００ｃｍのサイズの物体にわたる表面情報だけではなく、サイズ１ｃｍ未満の小さな表面不整に対する非常に詳細な表面情報を結合する、より詳細な情報を提供することができる。
【００１９】
操作において、ユーザの身体部分（単／複）、たとえば１本以上の指が、触覚アレイに接触して置かれる。ソフトウェア制御下で、ラージスケール力フィードバック装置はラージスケール形状情報を提供し、一方、触覚ディスプレイは、触覚アレイがユーザによって動かされるときに、微細構造物、表面テクスチャおよび他の感覚を提供する。本発明は、所望の環境をシミュレートし且つ直接ユーザへ提供されるビデオ画像および聴覚音を含んでもよい。これらの画像および音は、バーチャル環境に対応して設計され、それによって、現実的な外観および音声をいずれのシミュレーションに提供する。さらに、本発明は、ユーザによって感知されるであろう温度変化をシミュレートする温度感覚を含んでもよい。
【００２０】
本発明の多くのアプリケーションの１つは、医学的な研修および教育である。特に、本発明は、前立腺検査の診断シナリオをシミュレートするために使用されてもよい。従来、ラージスケール力フィードバック装置はそれ自体では前立腺の一般的な形状および外観を提供することができるのみであり、疑わしい腫瘍組織に特徴的な小さな固い塊をレンダーすることはできない。さらに、従来の触覚ディスプレイは小さな塊をレンダーするが、器官の全体的な形状を画成することはできない。本発明は、両方をレンダーし、それによって、シミュレートされるべき現実的な検査を提供する。機械はまた、外科的処置および他の医学的エクササイズを含む大半のいずれのエクササイズ、および、触知覚および／または表面のテクスチャを含むバーチャルリアリティゲームを、実行するために使用されてもよい。
【００２１】
特定の実施の形態において、剛性フレームを使用して触覚アレイを取り付けて、これをラージスケール力フィードバック装置に結合する。図３は、基部３２０とストラップ３３０を保持するフレーム３１０とを例示する。アセンブリ全体は、クランプ３４０によって保持される。しかし、いずれの種類の取付手段を使用して、両者の間に接続を提供してもよい。フレーム３１０の頂部にあるクランプ３４０は、アセンブリをエンドエフェクタ（図示せず）に取り付ける。アセンブリは、エンドエフェクタの結合端にできるだけ近くにクランプされる。操作中に、ユーザは自分の指を触覚ディスプレイ上に置き、ストラップによって適所に保持される。ユーザの手の動きは、力フィードバック装置の追跡機構（位置づけ要素）によって報告される。バーチャル物体に遭遇すると、力フィードバック装置は、適切な反応力を提供して、物体との接触をシミュレートする。同時に、触覚ディスプレイ上の要素が起動され、スモールスケール触覚特徴を物体の表面にレンダーする。ユーザが自分の指を物体上に動かすにつれて、触覚ディスプレイ上のレンダーされた表面詳細は、バーチャル物体上のユーザの指の場所に整合するように変化する。
【００２２】
１つ以上の加熱または冷却装置、たとえば、電気抵抗器、コイル線、または、可変制御に責任のあるペルチェ素子が、ユーザインタフェースに加えられて、現実的な経験により近づくために直接ユーザに異なる温度感覚を提供してもよい。実施の形態において、１つ以上のペルチェ素子は、ユーザの身体に接触するハプティックインタフェースシステム表面の異なる部分に取り付けられる。もっとも望ましくは、各ペルチェ素子は、アルミニウムのブロック等の熱質量に接続される別の表面を有し、熱をハプティックシステムに出し入れするのを助ける熱源として作用する。ユーザインタフェースの１つ以上の場所への且つ場所からの空気の動きが制御され、チューブまたは他の装置等を通る空気の流れによって影響されてもよい。ユーザインタフェースが覆われていない皮膚に接触するのを可能にする実施の形態において、空気は、現実的な経験にふさわしいように、冷却されても、加熱されても、乾燥されても、または、湿気を与えられてもよい。加えて、バーチャル環境をシミュレートするビデオまたはオーディオ装置は、また現実的な経験により近づくために、ユーザが着用することができる。
【００２３】
実施の形態において、位置づけ要素を使用して、力フィードバック要素を備えた１つ以上の触覚アレイの位置を空間の固定位置に対して調整してもよい。多くの実施の形態において、触覚アレイの表面全体は、力フィードバック要素に対する一定の位置を取り、その場合、位置づけ要素は、力フィードバック要素、触覚アレイのいずれかまたはその両方上の１つ以上の場所であってもよい。
【００２４】
位置づけ要素を使用して、機械または関連機器の計算部分に三次元場所情報を提供し、そのため、ユーザインタフェースの動きが常にモニタされる。位置づけ要素は、当業者によって認識されるように、いずれの数の装置であってもよい。たとえば、位置づけ要素は、１つ以上のリフレクタであってもよく、これから、位置情報が、直接または間接的に、光源相互作用および光検出によって決定されることができる。そのようなリフレクタは、簡単な光または赤外線または電波（マイクロ波等）のリフレクタから構成されてもよく、または、より複雑な、たとえば、同心線のパターンであってもよい。例として、１本以上のレーザビームを使用して、可動装置（単／複）の１つ以上の部品に取り付けられてレーザ光出力を反射する平行な線の表面を照らしてもよい。レーザ（単／複）または反射表面の動きを、光検出によってモニタすることができる。位置づけ要素は、赤外線または可視光線（単／複）等の、力フィードバック要素および／または触覚アレイ（単／複）に連結された１つ以上の発光体または光デテクタを具備してもよい。当然ながら、マイクロ波等の他の種類の電磁エネルギを使用することができ、情報を提供するために信号を追跡することができる固定されたレシーバまたはレシーバのセットを使用して、位置づけ信号を提供するように作用する。触覚センサ用の位置づけ要素はまた、センサと別の固体たとえば手または力フィードバック要素との間の屈曲運動または応力に関して報告する圧電素子であってもよい。
【００２５】
位置づけ要素は、力フィードバック要素の機械的接着内に組み込まれてもよい。たとえば、台、壁、天井または他の基部によって保持される１本以上の浮遊ロッド、ピストン、ワイヤ等が動いてもよく、または、スリーブ等の別の部品が、支持機構の長さ方向に沿って動くのを支持してもよい。運動は、光パルス、磁場測定、または業界で公知の他の検出システム、特に自動工場システム場によって、この位置づけ要素からモニタされてもよい。小さな運動用には、ホール効果装置が特に有用であり、公知である。位置および／または運動をモニタするための非常に様々なシステムが公知であり、２つ以上が、触覚アレイおよび／または力フィードバック要素用の位置づけ要素として組み合わされてもよい。
【００２６】
実施の形態において、２つ以上の位置づけ要素を使用して、１つ以上の触覚アレイの２つ以上の位置を突き止める。この実施の形態は、力フィードバック要素に対して触覚アレイ（単／複）の測定された運動用に幾分限定された自由を提供する。たとえば、各触覚アレイ上の位置づけ要素とともに、手の各指の端に１つの触覚アレイを設けることによって、ユーザは、固定された点に対して手を動かすことができ且つ手に対して指を動かすことができ、手および指の位置を常に独立してモニタする。望ましい実施の形態において、位置づけ要素（手を空間に保持する浮遊ワイヤまたはピストンの光モニタ等）は、手の場所をモニタし、レーザおよび光デテクタを備えた光測定は、指上の触覚要素の運動をモニタする。
理想的なハプティックインタフェースにおいて、装置の重量および慣性は、ユーザに対しては明らかであるべきではない。ラージスケール力フィードバック装置に取り付けられるときには、触覚ディスプレイの重量は、装置の操作に干渉するのに十分である。ユーザの指が触覚ディスプレイに接着されていないときには、装置はすぐに落ちる。重量を無効にする１つの方法は、力フィードバック装置に、触覚ディスプレイの重量に対向させるのにちょうど十分な力をかけさせることができる。重力補償が適切に加えられる場合には、触覚ディスプレイは、ユーザによって支持されないときでさえ、依然として適所にあるままである。
【００２７】
力フィードバック装置と触覚アレイとの両方上のハプティックレンダリングは、現実的に存在するバーチャル物体に同期されなければならない。両方の装置を制御するホストコンピュータは、この同期を達成し且つ自然なやり方でユーザの動きに対応するのに十分速くプログラムされなければならない。動きとレンダリングとの間の過剰な待ち時間は、非現実的な触覚フィードバックを招く。ラージスケール構造物と微細構造物とを同時にレンダリングする問題は、コンピュータグラフィックのテクスチャマップに使用される１つ以上の方法を使用することによって解決される。たとえば、米国特許第６，４４８，９６８号、第６，４５６，２８７号、第６，４５６，３４０号、第６，４５９，４２９号、第６，４６６，２０６号、第６，４６９，７１０号、第６，４７６，８０２号、第６，４１７，８６０号、第６，４２０，６９８号、第６，４２４，３５１号および第６，４３７，７８２号には、テクスチャマップおよび関連操作用の代表的な方法が記載されており、その全体が、特に、テクスチャマップをコンピュータ生成するための方法を記載する部分が、参照によってここに組み込まれる。さらに、画像を示し且つバーチャル環境の触覚アレイの場所に同期するバーチャル環境の聴覚情報を提供するビデオおよび／またはオーディオ装置が加えられてもよい。
【００２８】
テクスチャマップは、複雑な基礎をなすモデルを必要とせずに、微細な視覚詳細を呈することができる。コンピュータグラフィックに物体を表す普通の方法は、多角形、典型的に三角形を使用することを含む。たとえば、物体の表面は、三角形で張られる。個々の三角形が小さい場合には、物体の輪郭に密接に近づくことができる。物理的な光モデルに基づいて各三角形に異なって陰影をつけることによって、現実的な視覚レンダリングが達成される。図４の左の画像４１０は、多角形を使用して作られたマネキンの顔を例示する。同様に、多角形モデルを使用して、ラージスケールハプティックフィードバックを生成することができる。ユーザがモデルに触るときには、接触の角度および程度に基づいて反応力が計算される。
【００２９】
多角形は物体の形状を効率的に表すことができる一方、睫毛や染み等の視覚的な表面詳細を表すには不十分である。テクスチャマップは、視覚的詳細を犠牲にすることなく比較的簡単な多角形モデルを使用することを可能にする。テクスチャマップは、多角形モデルを包んだデジタル画像である。視覚的詳細は、現実の環境から取られた画像を使用して派生し、多角形モデルは、基礎をなす物体の輪郭を提供する。図４の右の画像４２０は、テクスチャマップが加えられた同一の顔モデルを例示する。
【００３０】
本発明において、テクスチャマップの概念がハプティックレンダリングに加えられ、それによって、「触覚マップ」を提供する。触覚マップは、触覚表面詳細を提供し、触覚アレイによってレンダーされる。触覚マップは、実際の物体の表面特性に基づいてもよく、または、任意にアプリケーション基づいて生成されてもよい。様々なスモールスケール感覚（温度および圧力等）が必要である場合には、２つ以上の触覚マップを同一の物体に加えることができる。
操作中に、ユーザは、本発明の実施の形態による装置に接着されたときに、指等の１つ以上の身体部分を動かす。接着は、好ましくは、手を装置に固定するストラップによるが、当業者に公知のいずれの適切な接着機構で行うことができる。指の位置および配向が追跡される。物体に遭遇したときには、力フィードバック装置が、適切な抵抗を生成することによって反応する。物体に衝突する影響が生成され、接触の点が注記される。触覚マップ上の対応する場所は同一であり、表面特徴が触覚アレイにレンダーされる。接触の点を動かすと、レンダーされている触覚マップの対応する部分が変化する。
【００３１】
望ましい実施の形態において、ピンの二次元触覚アレイが、力フィードバック装置に組み合わされる。ピンは、好ましくは、電気的に操作可能であり、たとえば、電磁石および／または圧電アクチュエータを具備する。二次元アレイは、平らでも、湾曲しても、または、不規則な形状であってもよい。実施の形態において、アレイは、指の端に接触するようなサイズおよび形状である。別の実施の形態において、２本以上の指に連結される２つ以上のアレイが使用される。さらに別の実施の形態において、アレイは、手の掌に接触するようなサイズおよび形状である。さらに別の実施の形態において、２つのアレイは、手を包むようなサイズおよび形状であり、一方のアレイは掌に接触し、他方は手の裏側に接触する。この後者の実施の形態において、アレイは、共通のマウントによって一緒にされてもよく、共通のマウントは、調整されて、抵抗を生成するための力フィードバック装置として使用されてもよい。したがって、装置全体は、ラージスケール力フィードバック装置に空間的にしっかり固定されているが１つ以上の微細触覚フィードバック表面を有してテクスチャ情報をレンダーする手袋に類似してもよい。さらに別の実施の形態において、ピンのアレイは、別の身体部分に嵌るような形状である。
【００３２】
実施の形態において、触覚アレイは、面積が０．２から５００平方センチメートルの間のパッドを具備し、より望ましくは、面積が０．５から１５０平方センチメートルの間である。アレイは、少なくとも、１０、２５、５０、１００、２００、５００、１０００、２０００、５０００本またはそれ以上のピンを有してもよい。ピンは、尖っていない端、丸みを帯びた端、または他の形状の端を有してもよい。各ピンのまわりに空間が存在してもよい。ピンは、圧電、流体またはソレノイドのアクチュエータ等のアクチュエータの作用によって、累進的な距離を通って動いてもよい。ピンは、動きなしで累進的な圧力をかけてもよい。各ピンの昇降（または突出距離）を制御することによって、当業者によって認識されるように、様々なパターンが生成されてもよい。実施の形態において、各ピンは、制御された周波数（単／複）で、制御可能に振動する。別の実施の形態において、アレイは、ｘ−ｙアドレス可能なソリッドステート要素の１つ以上のマトリクスを有する平らな表面を具備し、各要素は、起動時に、局所的運動を形成する。要素のマトリクスは、身体部分に接触するための可撓性のあるカバー内に差し挟まれてもよい。指が、ピンのアレイまたは可動要素のマトリクス等の触覚アレイに接着される場合には、異なる種類のテクスチャを感じることができる。触覚アレイはラージスケール力ハプティックインタフェースに接着されるため、バーチャル物体の形状および硬度等の追加情報をレンダーすることができる。このようにして、本発明の実施の形態による装置は、物体の全体的形状を画成するラージスケール接触力と、瘤、塊および薄いうね等の表面テクスチャを画成するファイル接触力と、の両方を再生することができる。
【００３３】
本発明の別の実施の形態において、マルチ触覚ジョイスティックは、ハンドルに触覚ディスプレイを備えた力フィードバックジョイスティックを具備する。力フィードバックジョイスティックは、ユーザが任意の方向にスティックを押すときに、可変量の抵抗を提供する。力インパルス（すなわち、突然グイと引く）または強力な振動等の他の効果を生成することができる。ハンドルを触覚アレイで覆うことによって、触感の範囲を広げることができる。ラージスケールハプティック力を生成することに加えて、触覚アレイは同時にスモールスケール触覚効果をレンダーすることができる。これらは、接触、振動または任意の密度の電気ディスプレイであってもよい。
【００３４】
１つの実施の形態の操作中に、ユーザは、ジョイスティックハンドルを把持する。力フィードバックジョイスティックに典型的なラージスケールハプティックに加えて、マルチ触覚ジョイスティックは、ハンドル上の触覚ディスプレイを通してユーザに追加情報を提供する。たとえば、ゲームアプリケーションにおいて、触覚ディスプレイは、ユーザに敵が近づいてくるのを警告する。効果の強度およびその効果を生成するハンドルの部分は、接近の近さおよび方向を示す。
本発明の別の実施の形態において、マウスは、マルチ触感を特徴づける。ユーザがマウスを動かすときに、力フィードバックマウスは、可変量の抵抗を提供する。フォルダまたはアイコンがコンピュータデスクトップのまわりをドラッグされるときには、効果を使用して、慣性効果を生成することができる。慣性の程度は、フォルダのサイズに相関させることができる。ウインドウの縁を検出する等の他の効果を生成することができる。
【００３５】
望ましい実施の形態において、触覚ディスプレイがマウス本体に加えられ、ユーザの掌をシミュレートする。慣性効果に加えて、スモールスケール触覚効果が生成される。アプリケーションは、ユーザを特定のファイルの場所へガイドすることを含む。ユーザは、触覚アレイの選択的起動によって命じられる方向にマウスを動かすように促される。他のアプリケーションは、ウェブページ上の当該領域を提案することを含む。ユーザは、触覚アレイの起動によって当該リンクへ警告される。
【００３６】
一定の実施の形態において、他のスモールスケール触感がシミュレートされてもよい。たとえば、振動のおよび／または電気の触感である。振動触感は、振動する物体（たとえば電気ブザー）に接触するときに、経験される。電気触感は、低レベルの電流が皮膚表面を通ってユーザにビリビリした感覚を提供するときに、感じられる。本発明は、特に、接触力をレンダーすることができるものに加えて、振動および電気の触覚ディスプレイを含むことに適している。
【００３７】
ラージスケール力を提供するためのラージスケール力フィードバック要素、および、表面テクスチャを提供するための微細触覚アレイ（単／複）は、非常に有利なことに、固定されても変更可能であってもよい公知の位置によって一緒に連結される。コンピュータは一般に、力を分析し出力するために使用され、２種類の力、すなわち、ラージスケール力および触覚アレイ力は、空間的に調整されるべきである。触覚アレイ（単／複）が固定された形状であり且つラージスケール力フィードバック要素に対して固定された空間関係である実施の形態では、互いに対する両方の場所は、いつでも知られている。しかし、触覚アレイ自体が変わり且つ／または力フィードバック要素に対する触覚アレイの空間的関係が変わる他の実施の形態では、有利なことに、それらの関係を三次元空間でモニタする機構が使用される。
【００３８】
本発明は、もっとも正確で現実的な触感をシミュレートすることに焦点を合わせる。本発明は特に、聴覚および視覚等の他の感覚を視聴覚ヘッドセットでシミュレートする装置で使用するのに適している。望ましい実施の形態において、ユーザは、１つ以上のマルチ触覚ハンドセットを、たとえば一方の手に１つずつ、操作してもよく、医学的手術をより正確にシミュレートする。視聴覚ヘッドセットは、外科医に視聴覚フィードバックを提供する。各ハンドセットは、外科医に、バーチャル手術で力フィードバックおよびテクスチャ情報を提供する。より現実的なシミュレーションのために、外科医は、触覚ディスプレイと調和する実際の外科器具を使用してもよい。
【００３９】
別の実施の形態において、１つ以上の触覚フィードバック装置が手袋によって外科医の手に接着し、触覚センサは手袋の内側で手の皮膚に接触する。外科医は、手袋を着用し外すことができ、実施の形態において、封止機構を起動するために、且つ／または、手袋を固定された位置に保持してもよいラージスケール力インタフェース装置に係合するために、フットスイッチを使用してもよい。
本発明の他の実施の形態および使用は、ここに開示された本発明の明細書および実施を考慮することから、当業者には明らかである。米国および外国の特許および特許出願を含む本願に引用されたすべての参考文献は、参照によって具体的に且つ全体的にここに組み込まれる。明細書および実施例は単に例示的なものと見なされ、本発明の真の範囲および精神は、下記の特許請求の範囲によって示されることが意図される。
【図面の簡単な説明】
【００４０】
【図１】ラージスケール力フィードバック装置を例示する図である。
【図２】ハプティックマウス装置を例示する図である。
【図３】本発明の実施の形態を例示する図である。
【図４】個々の三角形タイルが目に見えるマネキンの多角形モデル（左側）およびテクスチャマップが加えられた同一モデル（右側）を例示する図である。
【図１】
2005509903.tif 000003
【図２】
2005509903.tif 000004
【図３】
2005509903.tif 000005
【図４】
2005509903.tif 000006
【国際調査報告】
2005509903.tif 000007
2005509903.tif 000008