(57)【要約】【課題】使用者の腕の動きを拘束することなく指先に固有受容感覚を提示することができる把持型の触覚提示装置を提供する。【解決手段】把持時に手に固定されるベース１と、ベース１に対して移動可能であり、把持時に１本以上の指の指先が接触する可動部２と、可動部２をベース１に対して移動させる駆動機構と、を備えた力覚提示デバイス。ベース１に対する可動部２の移動は、往復動、揺動、傾動、回転から選択された１つ以上である。ベース１に固定される部分は、指の根元、指の付け根、掌から選択された１つ以上の部分である。指先が可動部２に接触する指は、親指、人差し指、中指から選択された１本以上の指である。【選択図】図２
2010287221.tif 000002
【特許請求の範囲】
【請求項１】
把持時に手に固定されるベースと、
前記ベースに対して移動可能であり、把持時に１本以上の指の指先が接触する可動部と、
前記可動部を前記ベースに対して移動させる駆動機構と、
を備えた力覚提示デバイス。
【請求項２】
前記ベースに対する前記可動部の移動は、往復動、揺動、傾動、回転から選択された１つ以上である、
請求項１に記載の力覚提示デバイス。
【請求項３】
前記力覚提示デバイスは、長手方向に延出する長軸を規定する長手部材であり、
前記往復動は、長軸に沿った往復動であり、
前記揺動、傾動は、長軸に対する揺動、傾動であり、
前記回転は、長軸を中心とした回転である、
請求項２に記載の力覚提示デバイス。
【請求項４】
前記ベースに固定される部分は、指の根元、指の付け根、掌から選択された１つ以上の部分である、請求項１乃至３いずれかに記載の力覚提示デバイス。
【請求項５】
前記指先が可動部に接触する指は、親指、人差し指、中指から選択された１本以上の指である、請求項１乃至５いずれかに記載の力覚提示デバイス。
【請求項６】
前記駆動機構は、力覚提示デバイスの位置に応じた指令により前記可動部を前記ベースに対して移動させる、請求項１乃至５いずれかに記載の力覚提示デバイス。
【請求項７】
前記力覚提示デバイスの位置は、位置検出手段により検出される、請求項６に記載の力覚提示デバイス。
【請求項８】
前記位置検出手段は、モーションキャプチャである、請求項７に記載の力覚提示デバイス。
【請求項９】
前記力覚提示デバイスには、位置検出のためのマーカが設けてある、請求項８に記載の力覚提示装置。
【請求項１０】
前記可動部は、バーチャル物体に接触する部分を備えている、請求項１乃至９いずれかに記載の力覚提示デバイス。
【請求項１１】
前記可動部は長手部材であり、前記可動部の先端がバーチャル物体に接触する部分である、請求項１０に記載の力覚提示デバイス。
【請求項１２】
前記駆動機構は、バーチャル物体に対する前記可動部の接触部の動きに応じた指令により前記可動部を前記ベースに対して移動させる、請求項１０、１１いずれかに記載の力覚提示デバイス。
【請求項１３】
前記バーチャル物体はバーチャルキャンバスであり、前記可動部の接触部の移動軌跡から前記バーチャルキャンバス上に描画を形成する、請求項１２に記載の力覚提示デバイス。
【請求項１４】
請求項１乃至１３いずれかに記載された力覚提示デバイスと、
前記力覚提示デバイスの位置を検出する位置検出手段と、
前記位置検出手段により取得された力覚提示デバイスの移動情報に基づいて前記駆動部に制御信号を送信する制御部と、
を備えた力覚提示システム。
【請求項１５】
さらに、バーチャル物体を含む、請求項１４に記載の力覚提示システム。
【請求項１６】
前記バーチャル物体、及び、少なくとも前記バーチャル物体に接触する部分を含む力覚提示デバイスの部分あるいは全部、を表示する手段を備えている、請求項１５に記載の力覚提示システム。
【請求項１７】
前記位置検出手段は、モーションキャプチャである、請求項１４乃至１６いずれかに記載の力覚提示システム。
【請求項１８】
前記位置検出手段を用いて前記力覚提示デバイスの先端の空中での移動軌跡を取得することで、当該力覚提示デバイスをペン型の入力インタフェースとして機能させる、請求項１４乃至１７いずれかに記載の力覚提示システム。
【請求項１９】
前記ペン型の入力インタフェースを用いて空中に描画する時に力覚提示が行われる、請求項１８に記載の力覚提示システム。
【請求項２０】
空中には予め位置が設定されたバーチャルキャンバスが設けてあり、
前記ペン型の入力インタフェースの先端を前記バーチャルキャンバス上に接触させながら描画する時に、前記位置検出手段により取得された前記ペン型のインタフェースの先端の位置と前記バーチャルキャンバスとの位置とから前記制御部から前記駆動部に制御信号が送信されて力覚提示を行う、請求項１９に記載の力覚提示システム。
【請求項２１】
前記可動部には把持時に指による押下によって入力可能なスイッチが設けてあり、
前記スイッチが入力された時にのみ前記制御部から前記駆動部に制御信号が送信されて力覚提示が行われる、請求項１９に記載の力覚提示システム。
【請求項２２】
前記スイッチが入力された時にのみ前記ペン型の入力インタフェースの先端の移動軌跡が取得される、請求項２１に記載の力覚提示システム。
【請求項２３】
前記力覚提示システムは、さらに、
前記移動軌跡から立体形状を生成する手段と、
生成した立体形状を表示する手段と、
を備える、請求項１８乃至２２いずれかに記載の力覚提示システム。
【請求項２４】
前記移動軌跡から立体形状を生成する手段は、
当該移動軌跡から所定の３次元形状に対応付けられた２次元形状及び当該２次元形状を特徴付けるパラメータを取得するものであり、前記２次元形状及びパラメータから当該２次元形状に対応付けられた３次元形状を生成するものである、請求項２３に記載の力覚提示システム。
【請求項２５】
前記移動軌跡から立体形状を生成する手段は、
当該移動軌跡から生成したポリゴンの集合から立体形状を生成するものである、請求項２４に記載の力覚提示システム。
【請求項２６】
前記力覚提示システムは、３次元ＣＧモデル作成モードと触覚モードとを備えており、力覚提示デバイスをペン型の入力インタフェースとして用いて作成した３次元ＣＧモデルをバーチャル空間に表示し、前記力覚提示デバイスを用いて表示された３次元ＣＧモデルを触ることで３次元ＣＧモデルの形状に応じて力覚提示を行う、請求項２３乃至２５いずれかに記載の力覚提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触覚提示装置に係り、詳しくは、使用者の腕の動きを拘束することがない力覚提示装置に関するものである。
【背景技術】
【０００２】
バーチャルな物体に触るための触覚提示装置に関して、代表的なものに、手指に装着するものがある（非特許文献１）。これは、使用者が自分の手で直接物体を触る感覚が得られるが、装着のわずらわしさが生じ、装置としても煩雑なものが多い。
【０００３】
これに対して、使用者がインタフェースを手に把持し、それを介して物体に触れた感覚を提示するものがある。PHANToM（特許文献１、非特許文献２）は代表的な把持型ディスプレイであり、モータによって駆動するリンク機構によりペン型のインタフェースの動きを制御し、それを把持する使用者の手に力覚を提示する。このものでは、装置を把持するだけで使用が可能になるが、手に力覚を提示するために外界に固定されたリンク機構を用いているため、リンク機構により使用者の手の動作可能範囲が大きく制限されてしまうという問題があり、空中で自由に使用することができなかった。
【０００４】
リンク機構を用いない把持型ディスプレイとして、wUbi-Pen（非特許文献３）やSenStylus（非特許文献４）が挙げられるが、前者はモニタとの物理的な接触が使用の条件となっているため使用者が空中で自由に使うことはできず、後者は空中で使用可能なものの、提示する刺激が振動のみであり、物体に触ったという感覚は得にくい。空中で使用可能であり、リンク機構を用いずに固有受容感覚を提示することが可能な把持型のディスプレイの開発はこれまで報告されていない。また、ポータブルなデバイスにおいて使用者の手指に力覚を提示するもの（非特許文献５）はいくつか提案されているものの、断続的な力覚の提示にとどまっており、連続的な力覚の提示を行うデバイスの開発は報告されていない。
【０００５】
このように、バーチャルな環境とのインタラクションを実現するため、現実には存在しない物体を触ることを可能にする多くの触覚提示装置が開発されてきた。しかしながら、詳細な触覚の提示が可能でありながら既存のバーチャルリアリティシステムに簡単に応用できるような、シンプルで扱いやすいデバイスについては、依然提案の余地がある。
【０００６】
ヒトの触覚は、皮膚内の受容器によって知覚される皮膚感覚と、腱や関節において知覚される固有受容感覚に分類可能である。使用者の動きを拘束しないポータブルなデバイスにおいて、既存のデバイスの多くが皮膚感覚の提示や断続的な固有受容感覚の提示に留まっており、連続的な固有受容感覚の提示が可能なポータブルなディスプレイの開発は報告されていない。これは、一般的に腕の関節等への固有受容感覚の提示には大掛かりな装置が必要とされ、ポータブルなデバイスには適さないためである。しかしながら、指の関節に対する固有受容感覚の提示だけでも実現することができれば、皮膚感覚の提示のみを行う場合よりも物体を触った感覚をよりよく再現できる可能性がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００７−５１０２３２号公報
【非特許文献】
【０００８】
【非特許文献１】Immersion Co., CyberGrasp: Groundbreaking haptic interface for theentire hand, http://www.immersion.com/3d/products/.
【非特許文献２】SensAble Technologies, Inc.,PHANTOM, http://www.sensable.com/products-haptic-devices.htm.
【非特許文献３】KU. Kyung and JY. Lee,“wUbi-Pen: windows graphical user interface interacting with haptic feedbackstylus,” ACM SIGGRAPH 2008 New Tech Demos.
【非特許文献４】M. Fiorentino, G. Monno, andA. Uva, “The Senstylus: a novel rumble-feedback pen device for CAD applicationin Virtual Reality,” In Proceedings of the 13th International Conference inCentral Europe on Computer Graphics,Visualization and Computer Vision'2005(WSCG 2005), 2005.
【非特許文献５】T. Amemiya, H. Ando, and T.Maeda, “Virtual Force Display: Direction Guidance Using Asymmetric Accelerationvia Periodic Translational Motion,” In: Proceedings of World HapticsConference, pp. 619.622, 2005
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、使用者の腕の動きを拘束することなく指先に固有受容感覚を提示することができる把持型の触覚提示装置を提供することにある。
【課題を解決するための手段】
【００１０】
かかる課題を解決するべく本発明が採用した技術手段は、
把持時に手に固定されるベースと、
前記ベースに対して移動可能であり、把持時に１本以上の指の指先が接触する可動部と、
前記可動部を前記ベースに対して移動させる駆動機構と、
を備えた力覚提示デバイス、
である。
【００１１】
デバイス把持時には、手の部分はベースに固定されているが、可動部に接触している指の動きは許容されている。ここで、「固定」とは、ベースに対する可動部の動きにかかわらず、ベースと手の部分の位置関係が一定に保持されていることを意味する。把持時にベースに対して可動部を移動させることで、可動部に接触している指を介して力覚を提示する。
１つの態様では、前記ベースに固定される部分は、指の根元、指の付け根、掌から選択された１つ以上の部分である。前記ベースに固定される手の部分は力の支点となる。ベースに指の根元や付け根を固定する固定リングを設けてもよい。また、ベースの外形を把持時に手の部分がフィットする形状に形成してもよい。
１つの態様では、前記指先が可動部に接触する指は、親指、人差し指、中指から選択された１本以上の指である。可動部に接触する指先は力の作用点となる。可動部において、指先が接触する部分は接触している指先が滑らないような摩擦の大きい材質で形成してもよい。
【００１２】
１つの態様では、前記ベースに対する前記可動部の移動は、往復動（前記可動部が前記ベースに対して接近・離間する方向の移動）、揺動、傾動、回転から選択された１つ以上である。
１つの態様では、前記力覚提示デバイスは、長手方向に延出する長軸を規定する長手部材であり、前記往復動は、長軸に沿った往復動であり、前記揺動、傾動は、長軸に対する揺動、傾動であり、前記回転は、長軸を中心とした回転である。１つの典型的な態様例では、力覚提示デバイスはペン型のデバイスであり、ベース、可動部共に長手部材であり、力が作用しない通常時（駆動機構が非作動時）には、ベースと可動部は共通の長軸を有しており、ベースと可動部の長軸は一致している。可動部がベースに対して往復動する時には、可動部の長軸がベースの長軸に沿って平行に移動し、可動部がベースに対して揺動ないし傾動する時には、可動部の長軸がベースの長軸に対して傾く。
【００１３】
このようなペン型の力覚提示デバイスにおいて、例えば、駆動機構によって１本以上の指先が接触しているペン型デバイスの可動部の基端側をベースに対して引っ込む方向に移動させることで、使用者の指にはペン先部で物体をつついたり押したりした場合の力が提示可能である。また、駆動機構によって１本以上の指の指先が接触しているペン型デバイスの可動部をベースに対して揺動ないし傾動させることで、物体をペン先でなぞった際の摩擦に対応する力やペン先の横側で物体を触った際の力が提示可能である。
【００１４】
駆動機構は、アクチュエータと、アクチュエータの力を可動部に作用させる機械要素と、を備えている。ベースに対して可動部にどのような動きをさせるか、すなわち、可動部の所定の移動を実現するために、アクチュエータ、機械要素をどのように構成するかについては、当業者が適宜構成し得る事項である。
駆動機構のアクチュエータとしては、モータ（DCモータ、ACモータ、ステッピングモータ、リニアモータ等）やソレノイドが例示されるが、他のアクチュエータ、例えば、油圧アクチュエータ、空気圧アクチュエータ、静電アクチュエータ、形状記憶合金アクチュエータ、圧電アクチュエータ等でもよい。
１つの態様では、アクチュエータは前記ベースに設けられ、好ましくは、前記ベースに内蔵される。
アクチュエータと可動部とを伝動連結する要素としては、索条（糸、ワイヤ等）、軸やロッドが例示される。また、力を伝達するための機械要素として、歯車、巻掛伝動、リンク、カム等が当業者に周知であり、これらを１つ又は複数用いて可動部に所望の動きをさせることは当業者において適宜設計し得ることが理解される。
可動部の移動を全て駆動機構のアクチュエータを用いて能動的に行なう必要はなく、例えば、往復動において一方の移動が力覚提示において重要でない場合には、バネ等の付勢手段を用いて可動部を通常の姿勢に復帰させるようにしてもよい。
【００１５】
１つの態様では、前記駆動機構は、力覚提示デバイスの位置に応じた指令により前記可動部を前記ベースに対して移動させる。
１つの態様では、前記力覚提示デバイスの位置は、位置検出手段により検出され、位置検出手段により検出された位置に応じて指令が行なわれる。
１つの態様では、前記位置検出手段は、モーションキャプチャであり、力覚提示デバイスの位置は、モーションキャプチャによって検出される。
１つの態様では、前記力覚提示デバイスには、位置検出のためのマーカが設けてある。この場合、環境側に位置検出のためのカメラが配置される。典型的には、３つのマーカを力覚提示デバイスに設けることで、力覚提示デバイスの３次元位置を取得する。
１つの態様では、前記力提示デバイスには、位置検出のためのカメラが設けてある。この場合、環境側に位置検出のためのマーカが配置される。
モーションキャプチャはマーカを用いた光学式に限定されるものではなく、磁気式等のマーカレスモーションキャプチャを用いても良い。
デバイスの位置検出については、一度にデバイスの位置・姿勢を取得する方法のみならず、位置情報と姿勢情報を個別に取得し、それらを統合して位置・姿勢情報の取得を行ってもよい。例えば、デバイスに加速度センサを取り付けることでデバイスの姿勢を検出し、それとペン先1点のみのモーションキャプチャを組み合わせることで、デバイスの位置・姿勢を取得してもよい。
【００１６】
１つの態様では、前記可動部は、バーチャル物体に接触する部分を備えている。
バーチャル物体とは、コンピュータ内に生成された物体であり、例えば、コンピュータの表示部にCGによって描画されると共に実空間上での３次元位置が設定されている。また、バーチャル物体は実空間に重畳して表示させてもよい。
１つの態様では、前記可動部は長手部材であり、前記可動部の先端がバーチャル物体に接触する部分である。
１つの態様では、前記駆動機構は、バーチャル物体（実空間上の位置が既知である）に対する前記可動部の接触部の動きに応じた指令により前記可動部を前記ベースに対して移動させる。
１つの態様では、前記バーチャル物体はバーチャルキャンバスであり、前記可動部の接触部の移動軌跡から前記バーチャルキャンバス上に描画を形成する。力覚提示デバイスを用いて接触部に接触した時の反力の提示を行うことにより、 空中にバーチャルなキャンバスがあるかのような感覚で空間中で描画することができる。
力覚提示デバイスに位置検出のためのマーカを設ける場合には、接触部分の位置を検出するために、少なくとも１つのマーカは上記接触部分に設けることが望ましい。
【００１７】
力覚提示デバイスには、上記以外の要素を設けることができる。例えば、モータ等のアクチュエータを動作させるための電力を供給するバッテリを内蔵させることができる。また、駆動機構を制御するための制御部から信号を無線で受信するための通信機能を内蔵させてもよい。あるいは、制御部自体を内蔵させてもよい。尚、電力や制御信号を有線でデバイス外部から供給するものであっても、リンク機構を用いる従来の把持型デバイスに比べると使用者の腕の動きは拘束されず使い勝手がよい。
【００１８】
本発明が採用した他の技術手段は、
上記力覚提示デバイスと、
前記力覚提示デバイスの位置を検出する位置検出手段と、
前記位置検出手段により取得された力覚提示デバイスの移動情報に基づいて前記駆動部に制御信号を送信する制御部と、
を備えた力覚提示システム、である。
位置検出手段、制御部の一部が力覚提示デバイスに設けてあってもよい。
【００１９】
１つの態様では、前記力覚提示システムは、バーチャル物体を含む。
力覚提示デバイスの移動情報は、典型的には、バーチャル物体（実空間上の位置が既知である）に対する前記可動部の接触部分の動きである。
より具体的な態様では、移動情報は、接触部分がバーチャル物体に接触してからさらに移動した距離である。また、移動情報に、可動部の接触部分の移動速度や加速度を含めても良い。
例えば、物体をペン先で突いた時の力の提示においては、ペン先（可動部）のペン軸に沿った移動情報を用いる。また、物体の表面をペン先でなぞった際に得られる表面の細かい形状や摩擦等の力の提示においては、１つの態様では、提示する振動の計算には物体表面に沿ったペン先の移動速度を用いる。
１つの態様では、前記バーチャル物体、及び、少なくとも前記バーチャル物体に接触する部分を含む力覚提示デバイスの部分あるいは全部、を表示する手段を備えている。
【００２０】
１つの態様では、前記位置検出手段を用いて前記力覚提示デバイスの先端の空中での移動軌跡を取得することで、当該力覚提示デバイスをペン型の入力インタフェースとして機能させる。
１つの態様では、前記ペン型の入力インタフェースを用いて空中に描画する時に力覚提示が行われる。
【００２１】
１つの態様では、空中には予め位置が設定されたバーチャルキャンバスが設けてあり、
前記ペン型の入力インタフェースの先端を前記バーチャルキャンバス上に接触させながら描画する時に、前記位置検出手段により取得された前記ペン型のインタフェースの先端の位置と前記バーチャルキャンバスとの位置とから前記制御部から前記駆動部に制御信号が送信されて力覚提示を行う。例えば、物理シミュレーションで算出したバーチャルキャンバスとの接触力を再現するように力覚提示を行う。
【００２２】
１つの態様では、前記可動部には把持時に指による押下によって入力可能なスイッチが設けてあり、
前記スイッチが入力された時にのみ前記制御部から前記駆動部に制御信号が送信されて力覚提示が行われる。例えば、前記スイッチが押下されている間だけペン軸方向に予め設定された力覚を提示することで、存在しないキャンバスを一定の強さで触っている感覚を提示する。あるいは、ペン先の移動とは逆方向に力覚を提示して摩擦感を再現するようにしてもよい。
１つの態様では、前記スイッチが入力された時にのみ前記ペン型の入力インタフェースの先端の移動軌跡が取得される。
【００２３】
１つの態様では、前記力覚提示システムは、さらに、前記移動軌跡から立体形状を生成する手段と、生成した立体形状を表示する手段（２次元ないし３次元）と、を備える。
１つの態様では、前記移動軌跡から立体形状を生成する手段は、当該移動軌跡から所定の３次元形状に対応付けられた２次元形状及び当該２次元形状を特徴付けるパラメータを取得するものであり、前記２次元形状及びパラメータから当該２次元形状に対応付けられた３次元形状を生成するものである。例えば、円（２次元形状）と球（３次元形状）が対応付けられており、円は当該円の中心と半径から特徴付けられる。あるいは、長方形（２次元形状）と直方体（３次元形状）が対応付けられており、長方形は、長方形の中心（対角線の交点）、長辺・短辺の長さ、傾きから特徴付けられる。
１つの態様では、前記移動軌跡から立体形状を生成する手段は、当該移動軌跡から生成したポリゴンの集合から立体形状を生成するものである。ここで、ポリゴンを用いて立体形状を表現すること自体は当業者に良く知られている。
【００２４】
１つの態様では、前記力覚提示システムは、３次元ＣＧモデル作成モードと触覚モードとを備えており、力覚提示デバイスをペン型の入力インタフェースとして用いて作成した３次元ＣＧモデルをバーチャル空間に表示し、前記力覚提示デバイスを用いて表示された３次元ＣＧモデルを触ることで３次元ＣＧモデルの形状に応じて力覚提示を行う。
【発明の効果】
【００２５】
本発明によれば、デバイス把持時にデバイスのベースと使用者の手を固定し、ベースに対して使用者の指先が接触した可動部を駆動させることにより、非接地の装置でありながら使用者の指先に固有受容感覚を提示することができる。
【００２６】
本発明による把持型力覚提示デバイスは、リンク機構を用いないので、使用者の腕の動きが拘束されず使い勝手がよく動作範囲が制限されることなく使用できる。また、リンク機構等の煩雑な構造を持たないので持ち運びが可能である。
【００２７】
本発明による把持型力覚提示デバイスは、３次元ＣＧモデル生成のための入力インタフェースとして用いることができる。把持型力覚提示デバイスの先端で空中に絵を描画するようにして当該先端の移動軌跡を取得し、当該移動軌跡を入力として３次元形状を生成する。さらに、描画時に力覚提示を行うことで、あたかも実際のキャンバス上に描画するような感覚でバーチャル空間に描画することができる。
【００２８】
把持型力覚提示デバイスに３次元ＣＧモデル生成のための入力インタフェース機能を付与することで、１つの力覚提示システムを用いて３次元ＣＧモデルを生成し、さらに、生成した３次元ＣＧモデルをバーチャル空間で触ることを実現できる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る力覚提示デバイスを把持した状態を示す斜視図である。
【図２】図１の状態から可動部がベースに対して引っ込む方向に移動した状態を示す図である。
【図３】本発明の実施形態に係る力覚提示デバイスの概略斜視図である。
【図３Ａ】本発明の実施形態に係る力覚提示デバイスの概略斜視図である。
【図４】実験で用いた力覚提示デバイスを示す図である。
【図５】実験で用いた力覚提示デバイスを示す図である。
【図６】マーカを備えた力覚提示デバイスを把持した状態を示す図である。
【図６Ａ】図６と類似の図であって、力覚提示デバイスに設けられたスイッチを押した状態を示す図である。
【図７】実験装置の概略図である。
【図８】実験結果を示すグラフである。
【図９】現実空間の映像に重畳したCG物体に触った感覚を提示するための装置を示す図である。
【図１０】本発明に係る力覚提示デバイスの応用例を示す図である。
【図１１】力覚提示デバイスの他の実施形態を示す図である。
【図１２】壁提示実験の実験風景を示す図である。
【図１３】モニタに表示されるバーチャルな壁を示す（左：円の描画時；右：直線の描画時）。
【図１４】円描画時の壁に対するペン先端の変位軌跡の例である。横軸tは描画の始点をt=0、終点をt=1とした各時刻を表す。縦軸はペン先端の壁に対する押し込みを表し、負の値を取ったとき壁に対して押し込みが生じたことを示す。
【図１５】力覚提示システムを示す図である。
【図１６】ＣＧ作成を示す概念図である。
【図１７】バーチャル環境内におけるユーザが描いた円の軌跡を示す。
【図１８】円の軌跡に対して生成された球を示す。
【図１９】作成された３Ｄモデルを例示する図である。
【図２０】力覚提示システムを示す図である。
【発明を実施するための形態】
【００３０】
本実施形態では、リンク機構を用いずに使用者の指に固有受容感覚を提示する手法と、この手法に基づいたペン型のハプティックディスプレイ（図1）について説明する。デバイスを試作し、提案手法及びデバイスによって固有受容感覚の提示が可能であることを、実験により示す。また、既存のAugmented Reality（AR）のアプリケーションにこのデバイスを用いて触覚を付加するアプリケーションの構築について述べる。
【００３１】
［Ａ］力覚提示デバイス
指のみへの固有受容感覚の提示がバーチャルな物体を触った感覚を表現するのに有効であるという仮説に基づき、把持した使用者の指に固有受容感覚を提示するハプティックディスプレイを提案する。図示のとおり、持ちやすさを考慮し、デバイスの形状はペン型とした。図１乃至図４に示すように、力覚提示デバイスは、デバイスは使用者の手に固定されるベース１と、使用者が指で把持するペン先状の可動部２の2つの部分から構成されている。ベース１内に配置された複数のモータ３によって、ベース１に対して可動部２が駆動する。ペン型の力覚提示デバイスは、デバイスの長手方向に延出する長軸（ペン軸）を規定している。
【００３２】
外界に対して設置を行わないデバイスにおいて力覚の提示を行うためには、使用者の身体の一部に反力を得るための支点を定めることで、内力の合計を0にする必要があり、力覚の提示を行うポータブルなデバイスを設計するためには、使用者の手の中に力の支点と作用点の両方を定める必要がある。
【００３３】
そこで、リンク機構等を用いずに固有受容感覚を提示するため、デバイス把持時にベース１に固定される人差し指の根元を力の支点、デバイス把持時に可動部２を把持する親指、人差し指、中指の3指の指先を作用点として定めた。可動部２がベース１に対して駆動することにより、可動部２を把持している3指に対して固有受容感覚の提示が行われる。以下に、図示の力覚提示デバイスの構成について詳細に説明する。
【００３４】
ベース１は、先端側に開口が形成された円筒状の本体１０を備えており、本体１０の中空部には、可動部２をベース１に対して移動させるための駆動機構が設けてある。図示の態様では、駆動機構は３つのモータ３、３つのプーリ４、３本のタコ糸（索条）５から構成されている。図３では、１本のタコ糸５及び１つのプーリ４のみが図示されており、他の２本のタコ糸および２つのプーリは省略されている。本体１０の外周面には固定リング１１が形成されており、使用者がデバイスを把持する際に、人差し指をベース１の外側に取り付けられた固定リング１１に通して持つことにより、ベース１と使用者の手が人差し指の根元で固定される。
【００３５】
可動部２は、円柱状の本体２０を備えており、本体２０の先端側は縮径して先細状となっており、先端がバーチャル物体に接触する部分２０aとなっている。デバイス把持時には、可動部２の本体２０の外周面に、使用者の親指、人差し指、中指の3指の指先が接触する。装置を把持する際に使用者が人差し指をベース１に固定された固定リング１１に挿入することで、使用者の手に対してデバイスのベース１が固定され、この状態で、使用者が親指、人差し指、中指で可動部２を把持することで、可動部２がベース１に対して移動することにより、使用者の３指に対して固有受容感覚の提示が行われる。
【００３６】
図３、図４に示すように、本体２０の基端側には本体２０に対して小径の軸部２１が延出形成されており、軸部２１には円板状の連結板２２が形成されており、さらに連結板２２には半球状の凸部２３が形成されており、凸部２３を備えた連結板２２がボールジョイントを構成している。凸部２３は、可動部２が揺動する時の揺動中心となる。可動部２の軸部２１に形成された連結板２２および凸部２３はベース１の先端側の開口からベース１内部に挿入されている。
【００３７】
ベース１の中空部には、半球状の凹部６が付勢手段としてのコイルスプリング７によって長軸方向に移動可能に設けてある。凹部６はコイルスプリング７によって常時先端側（基端側から離間する方向）に付勢されている。可動部２の半球状の凸部２３は、ベース１内に設けた半球状の凹部６に摺動可能に受け入れられており、凹部６に対して凸部２３が摺動することで、ベース１に対して可動部２が揺動ないし傾動する。駆動機構が作動しない通常時では、コイルスプリング７によって可動部２はベース１に対して突出する方向に位置している。
【００３８】
ベース１の中空部には駆動機構のアクチュエータを構成する３つのモータ３が設けてあり、各モータ３の出力軸と、連結板２２の周方向に等間隔で設定した３つの支点とは、それぞれプーリ４に掛け回したタコ糸５によって連結されている。タコ糸５の先端側の部分は、プーリ４に掛け回すことでデバイスの長軸方向に延出している。モータ３が第１の方向に回転すると、タコ糸５の基端側が出力軸３０に巻き取られ、タコ糸５によって連結部２２がコイルスプリング７の付勢力に抗して基端側へ引っ張られることになる。
【００３９】
ベース１内の3個のモータ３は、可動部２の基端側に一体形成されている連結板２の3つの支点をそれぞれ独立に糸５を巻き取ることにより牽引することで、ベース１に対する可動部２の３自由度の動きを制御する。１つの態様では、ペン軸と平行するｙ軸、ｙ軸に直交すると共に互いに直交するｘ軸及びｚ軸とした場合に、３自由度は、ｘ、ｙ、ｚの各軸方向への平進の３自由度である。一般にペン状のデバイスを用いて物体を触る場合には、物体を押す、表面をなぞる等の動作が想定され、これらの動作により、物体からペンに対して反力や摩擦力が加わる。デバイスの先端と物体との接触により指先に生じる固有受容感覚を再現する場合には、各軸に対して回転する方向の力は生じず、
生じる力は全て各軸の並進方向の成分のみで再現することが可能になる。よって、本実施形態では、デバイスにおいて提示すべき力は、ペンの軸に対して平行な1軸と、それに対して垂直な2軸のみとなり、これらの軸周りに回転する方向の力の提示は考慮しないこととする。また、y軸方向の並進については、y軸正方向については物体を押した際などに生じる力を再現する駆動であり、y軸負方向の並進はペン先が引っ張られるという状態の力を再現する駆動となる。後者の状況は
、ペンで物体を触るといった状況では考慮する必要がない。よって、本デバイスは、x軸、z軸、そして正方向のみのy軸の、3軸方向の力提示が可能なデバイスである。連結板２の3つの支点を選択的に牽引して連結板２が並進や傾動することで、連結板２と連結されたペン先の駆動が実現される。具体的には、3つの支点すべてを同時に牽引した場合は可動部２がベース１内に引き込まれることでペン軸（長手部材である力覚提示デバイスの長軸）に対して平行な動き（ｙ軸方向に駆動）が実現され、1つないしは2つの支点のみを牽引した場合は可動部２がペン軸に対して傾くことでペン軸に対して垂直な動き（ｘ軸またはｙ軸方向に駆動）が実現される。モータ３を制御して牽引する糸５を選択することで任意の方向に可動部２を揺動させることができる。
【００４０】
デバイスを使用者が把持した場合、前述のペン軸に平行な可動部２の動きはペン先端で物体を突ついたり、押したりした場合に生じる外力が再現され、後者のペン軸に垂直な可動部２の動きによって、物体をペン先でなぞった際の摩擦により生じる外力や、ペン先の横側で物体を触った場合に生じる外力が再現される。このようなモータの駆動を適切に制御することにより、y軸負方向を除いた3自由度の力覚の提示が実現可能である。また、モータの駆動を行っていない状態でユーザがデバイスを把持した際のペン先の位置を初期位置とすると、モータによる支点の牽引が行われていない場合には、ペン先部は初期位置まで戻ることが望ましい。図３Ａに示すように、ベース部内に押しバネを配置し、モータが駆動していない場合はペン先が初期位置まで押し戻されるようにした。１つの態様では、ペン先状の可動部の駆動はペン先に加わる3次元力ベクトルに応じて行なう。ペン軸に平行な移動はペン軸に平行な力に応じて、ペン軸に垂直な移動はペン軸に垂直な力に応じて、それぞれ行う。ペン先に加わる力の取得には、後述の実験で採用したような物体とペン先の相対位置から数式に基づいて算出する方法の他に、物理シミュレーションを用いる方法がある。特にペン軸に垂直な方向の力に関しては複雑な算出が必要なため、物理シミュレーションに基づいて力の算出を行うことが有効である。物理シミュレーションについては後述する。
【００４１】
［Ｂ］デバイスの実装
提案手法に基づいた固有受容感覚の提示を行うため、デバイスの試作を行った。図４、図５にデバイス本体を図示する。前述のとおり、本体は手と固定されるベース１と、駆動するペン先状の可動部２によって構成されている。成形は軟化性ABS樹脂を積層する溶融積層法のラピッドプロトタイプシステム（Strarasys Co., Ltd., Dimension BST 768）を用いて行った。使用したモータはMaxon社製のDCモータ（RE 10, 1.5 W,
gear ratio = 1:16）であり、真鍮製の直径6 mmのプーリにネジを用いてタコ糸を固定した。タコ糸はベース1内部の穴を通り、可動部２の連結板２２に配置した支点に結ばれており、各モータとタコ糸によってこの支点を牽引することによって、可動部２の3自由度の動きが制御される。1つのモータによって提示できる力は、最大で約4.9Nである。ベース内部には押しバネ7を配置し、モータへの入力が無い場合は可動部２が元の位置に戻るようにした。
【００４２】
［Ｃ］実験
提案手法による固有受容感覚提示の可能性とデバイスの感覚提示能力を確認するため、試作したデバイスを用いて、恒常法に基づいて使用者が知覚可能なVR物体の硬さの弁別閾を測定する実験を行った。
【００４３】
［Ｃ−１］実験設定
今回行ったのは、デバイスを用いて空間中のバーチャルな壁を触り、2つの壁の硬さを比較してどちらが硬いかを回答するという実験である。図7に実験のシステムの概要及び実験における座標軸の設定を示す。実験を行うにあたり、試作したペン型デバイスではペン尻側にモータを配置したことによりデバイスの重心が偏っていることを考慮し、モータ及びモータ固定部の合計質力である約70gの重りを、滑車を介してペン尻部に取り付けた糸に吊るすことで、重心の偏りを排除した。また、ペン先部に両面テープを巻き、被験者の指先とペン先部が滑るのを防止した。
【００４４】
実験システムは、ペン型の力覚提示デバイスと、力覚提示デバイスの位置を検出する位置検出手段（赤外LEDと赤外カメラ）と、位置検出手段により取得された力覚提示デバイスの移動情報に基づいてデバイスの駆動部に制御信号を送信する制御部と、バーチャル物体と、を含んでいる。デバイス先端（可動部２の先端）には位置検出用のマーカとしての赤外LEDが取り付けられており、これを赤外カメラで撮影することにより、ペン型デバイスの先端の位置を取得した。位置取得の解像度は約0.3 mmであった。上記制御部は、パーソナルコンピュータ等のコンピュータ（具体的には、入力装置、表示装置を含む出力装置、ＣＰＵ、記憶装置（ＲＯＭ、ＲＡＭ等）、これらを接続するバス等、を備えている。）から構成することができる。バーチャル物体としてバーチャル壁はパーソナルコンピュータによって生成することができる。
【００４５】
ここで、取得したデバイス先端の位置に応じてバーチャルな壁とデバイス先端の相対的な位置関係をノートPCのディスプレイ上に描画し、被験者がそれを確認しながら触り動作を行うことができるようにした。デバイス先端と配置したバーチャルな壁の接触に応じて固有受容感覚の提示を行うが、提示する力は壁に対するデバイス先端の押し込み距離に対して線形に増加するように定めることとした。
【００４６】
図7のようにカメラの光軸に対して垂直にx軸を定め、壁の位置をx0（mm）、取得したデバイス先端の位置をx（mm）としたとき、デバイスにより提示する力F（N）は、以下の式（1）のように決定される。 
【数１】
2010287221.tif 000003
ここで、k（N/mm）は壁の硬さに対応する係数である。今回の実験では、硬さkとして0.3から0.9まで、0.1 N/mm刻みで7通りの値を用意した。以下、これらのkを順にki（i = 0,1,...,6）とする。また、F0（N）はペン先部を駆動させるのに必要な最小の力であり、今回の実験では0.5 Nとした。 本実験は恒常法に基づいて行われた。被験者は20代の男性2名、女性1名であり、全員右利きであった。実験はモータの駆動音を排除するため、ヘッドホンにより白色雑音を聞かせながら行った。被験者は右手にデバイスを把持し、椅子に座る。各試行では、式（1）における硬さkがk = k3（0.6 N/mm）の標準壁と、kがk = ki（i = 0,1,...,6）のいずれかである比較壁が、ランダムな順番で提示された。被験者は順に提示される2つの壁を、デバイスを把持した右手を図7のx軸方向に移動させることでそれぞれ触った。その後、1度目に触った壁と2度目に触った壁のどちらの方がより硬いと感じたかを、「1度目」「2度目」のいずれかを二件法により回答させた。これを1回の試行とし、7通りのkの値に対して、標準壁と比較壁の提示順2通り、各10回で、計140回の試行を1セットとして実験を行った。 
【００４７】
［Ｃ−２］実験結果
k = ki（i = 0,...6）のそれぞれの比較壁に対して、各被験者が標準壁（k = k3）より硬いと回答した確率およびその平均と、正規累積分布関数によるS字カーブフィッティングの結果を図8に示す。この結果における弁別確率75%のもとでの弁別閾（75%DL）を、主観的等価点（PSE）と75%の正答率を示すときのkの値の差として定義すると、PSEは0.64 N/mmと標準壁のk = 0.6（N/mm）にほぼ等しく、75%DLは0.21 N/mmであった。 
【００４８】
今回の実験では、壁に対する押し込み距離に対して線形に増加するような力を提示し、壁の硬さに対応する増加の係数を変化させ、それに対して被験者が壁の硬さをどのように感じるかを標準壁と比較壁のどちらが硬いかを回答させることにより確認した。式（1）で定義した硬さを表す係数kの増加と共に被験者が比較壁の方が硬いと回答する確率が増加していることから、提案手法によって固有受容感覚の提示が行われており、押し込み動作に対する提示される力の増加を、被験者が認識できているということが確認できたと言える。デバイスを用いたバーチャル物体の硬さの提示について、実験結果から標準の硬さである0.6 N/mmに対して75%DLが0.21 N/mmとなっており、標準に対して35%以内の弁別閾を持つことが確認された。今回の実験で得られた被験者が知覚可能なバーチャルな壁の硬さの75%DLは、0.21 N/mmであった。ここで、k=k3の硬さを持つ標準壁では、デバイス先端が提示されている壁の端から23.7mm押し込まれた時点で提示される力がデバイスによって提示可能な力の最大値である14.7 Nに達し、それ以上の押し込みに対しては力が増加しない。このとき、k3 = 0.6（N/mm）から75%DLを引いたk = 0.39（N/mm）の係数を持つ壁に対して同様の押し込みがなされた場合、提示される力は9.7Nである。これらの2つの壁の硬さの比較を行う際に、同じ押し込み距離における力の大きさの差によって比較が行われたと仮定すると、押し込み距離が前述の24.2 mmのときに、提示される力の差が最大となる。よって、デバイスによって使用者に提示可能な力の解像度は、このとき提示される力の差である5.0 N以下であると言うことができる。同様の計算を標準の硬さに75%DLを加えたk = 0.81（N/mm）の壁についても行うと、押し込み距離が17.5 mmのときにこの壁により提示される力が14.7Nに達し、同じ押し込み距離で標準壁から提示される力は11.0 Nであることから、デバイスにより提示される力の解像度が3.7 N以下であることが保証される。
【００４９】
以上から、今回試作したデバイスにより提示可能な力の解像度は、3.7 N以下であると言うことができる。ここで述べた解像度は、今回の実験結果によって最低限保障される値である。実験において得られる回答は、被験者がどのようにして壁を触るか、またどのような戦略で硬さを判別するかによって大きく左右されるため、より詳細な検証を行う際には、押し込みの距離や手の運動速度等の条件をより細かく設定し、また比較壁の係数kの間隔を細かく取った上で行う必要がある。また、デバイスの固有受容感覚提示の解像度についても、デバイスやシステムの各構成要素の精度を向上させたり、より最適な設計を行うことで、さらに向上させることが可能である。
【００５０】
［Ｄ］アプリケーション
上述のように、本実施形態に係る力覚提示デバイスは、1)インタフェースとして応用がしやすくユーザが把持するだけで通常のペンと同じような感覚で使用することが可能であるペン型の形状を持つ；2)外界に対して固定されていない；3) リンク機構等を用いていないため、ユーザが空中で自由に使用可能である；4)複数のユーザが同時に使用できるようにペン型のデバイス単体での触覚提示が可能である；5)物体に触った際に生じる感覚として反力を再現することによる固有受容感覚提示を行うことができる；という利点を有している。本力覚提示デバイスは、既存の多くのVRシステム、及びARシステムに、触覚を付加するデバイスとして適用できると考えられる。
【００５１】
そこで、デバイスを用いたアプリケーション例として、ARToolKit（H. Kato and M.
Billinghurst, “Marker Tracking and HMD Calibration for a Video-based Augmented
Reality Conferencing System,” In Proceedings of IWAR '99, pp. 85-94, 1999.）を用いて現実空間の映像に重畳したCG物体に触った感覚を得ることが可能なシステムを実装した（図9）。このシステムでは、Webカメラを用いて撮影した映像中のマーカ上にCGの立方体を描画すると同時に、前記実験の欄で述べたのと同様の算出手法を用いて赤外カメラで位置を取得したデバイス先端と立方体との接触に応じて力を提示した。ただし、赤外LEDのコードによってマーカが遮蔽されてしまうのを防ぐため、デバイス先端に再帰性反射材マーカを取り付けてこれをカメラで撮影することによってデバイス先端の位置取得を行った。これにより、使用者は現実空間に重畳されたAR物体をスクリーン上で見るとともに、デバイスを用いて物体を触ることが可能となっている。 
【００５２】
本実施形態では、リンク機構等を用いないポータブルな把持型デバイスにおいて、指に対して固有受容感覚を提示する手法を提案し、その手法に基づいたデバイスの試作を行った。試作デバイスを用いて実験を行い、試作したデバイスにおいては最低でも3.7N程度の分解能で力の提示が可能であることを示した。また、デバイスを用いて既存のARシステムに触覚を付加した簡単なアプリケーションの実装を行った。
【００５３】
本実施形態ではペンの軸に水平な方向の力提示に関してのみ検証を行ったが、ペン軸に対して垂直方向への力提示によって、物体をペン先でなぞった際の摩擦に対応する力やペン先の横側で物体を触った際の力が提示可能であることは当業者に理解される。また、アプリケーションについても、静的な物体に触るというものだけでなく、よりインタラクティブなアプリケーションの構築も可能である。例えば、図１０（A）に示すように、実空間に重畳したCGキャラクタの頭を力覚提示デイバスの先端でなでることで、使用者には頭をなでた時の力覚を提示すると共に、頭をなでられることに応じてCGキャラクタの姿態を変化させてもよい。また、デバイスの使い勝手の良さと固有受容感覚の提示能力を活かし、多人数で利用可能なアプリケーションの開発を行うことが考えられる。例えば、図１０（B）に示すように、博物館でバーチャル生物を触った時の力覚を複数の使用者に提示するアプリケーションも可能である。以下に、触覚インタラクションシステムについてさらに後述する。
【００５４】
実験では、可動部２の先端に位置検出マーカを設けたが、先端に設けた位置検出マーカに加えてあるいは代えて、他の部位に位置検出マーカを設けてもよい。図１１に示す力覚提示デバイスの基本構成は既述のデバイスと同様であり、同一の要素には同一の参照番号が付してある。図３の概念図ではモータ３はベース１の内部にペン軸と平行に配置されているが、図１１では実装の簡単のため、ベース１の本体１０の基端側の外側に形成したモータ固定部３aに3個のモータをペン軸と垂直に配置するようにしている。可動部２の基端側には長軸に沿って後方に延出するロッド２４が設けてあり、ロッド２４はベース１内をベース１の基端に向かって延出し、ロッド２４の後端はベース１の基端側からさらに後方に延出している。ロッド２４の後端にはロッド２４に対して垂直状に延出するマーカ取り付片２５が形成されている。例えば、マーカは、マーカ取付片２５の基端および/あるいは先端（マーカを点線の円で示している）に装着されている。ロッド２４及びマーカ取付片２５は、可動部２と共に移動でき、かつ、可動部２の移動を妨げないようになっている。図では、１本のマーカ取付片２５が示してあるが、２本以上のマーカ取付片を形成してもよい。
【００５５】
さらに、３つの位置検出用マーカを備えた力覚提示デバイスを図６に示す。３つの位置検出用マーカは、ベース１の後端、すなわち、ペン尻部に嵌合する形状のキャップに取り付けられており、当該マーカは、キャップをペン尻部に嵌合することによって力覚提示デバイスに固定されている。３つの位置検出用マーカは互いに非対称の三角形を形成するように構成されており、３つのマーカの位置をカメラで取得し、それらが成す非対称の三角形の位置姿勢から、ペンがどのような位置姿勢で空間中に存在しているかが分かる。
【００５６】
［Ｅ］触覚インタラクションシステム
本発明の力覚提示システムを利用することで、複数のユーザが同時にバーチャル環境とのインタラクションを行うことができるシステムを構築することができる。複数のユーザによる体験を許容するシステムは、バーチャルリアリティの教育やエンターテインメント、パブリックスペースのける展示などの様々な分野への応用に対して有用である。また、複数のユーザによって同時にバーチャル環境との触覚インタラクションが行われることにより、ユーザ同士のインタラクションも実現されることとなり、触覚を伴ったコミュニケーションシステムとしての利用も可能になると考えられる。
【００５７】
［Ｅ−１］ユーザの動作の取得
ペン型力覚ディスプレイを用いて物体を触ることを可能にするためには、ユーザの動作を取得し、その動作に応じてバーチャルな環境とユーザの把持したデバイスとの接触などを判定する必要がある。本実施形態では、デバイスを把持したユーザの動作取得の手法として、光学式モーションキャプチャシステム、具体的には、NaturalPoint社のモーショントラックシステムであるOptiTrackを用いる。OptiTrackにおいて用いられる赤外カメラには、レンズの周囲に赤外LEDが配置されている。
マーカとして表面に再帰性反射材を塗布された球状のものを用いることにより、カメラ方向に赤外光の再帰性反射が生じ、これによりカメラで撮影した画像内のマーカの位置が取得できる。空間中の配置が既知である複数のカメラを用いることにより、各カメラ画像中のマーカの位置から、マーカの空間内での三次元的な位置が算出可能である。また、各デバイスに3つ以上のマーカを配置してそれぞれのマーカの位置を取得することにより、各デバイスの位置と姿勢が取得可能となる。2つのデバイスの位置姿勢を取得するため、デバイスのペン尻に当たる部分に、 図６のように3つのマーカを配置した。これらのマーカはそれぞれのデバイスで形状の異なる非対称の三角形を形成している。ブースの上方には OptiTrackのカメラが6台配置されており、ブース内におけるマーカの位置の取得が可能となっている。これにより、それぞれのデバイスを混同することなく、ブース内において位置と姿勢の算出が可能である。
【００５８】
［Ｅ−２］物理シミュレーションを用いた力覚計算と提示 
力覚情報の計算について説明する。システムにおいて触覚インタラクションを実現するために、ユーザがバーチャルな物体を触った際に、そのような物体の挙動と生じる力覚情報の算出を行う必要がある。物体の挙動と提示される力覚を、現実世界の物理現象に従うような形で実現することにより、ユーザはあたかも対象が現実世界に存在しているかのような感覚でバーチャルな物体とのインタラクションを行うことが可能になる。そのような体験を実現するため、本システムにおいては、物理シミュレーションに基づくバーチャル環境の構築を行うこととする。
【００５９】
物理シミュレーションによるバーチャル環境の構築について説明する。本システムにおいては、バーチャル環境における物体の挙動、及び物体の衝突により生じる力覚情報の計算に、既存の物理シミュレーションエンジンである nVidia社のPhysX[http://developer.nvidia.com/object/physx.html]を用いる。PhysXは主にビデオゲームの分野において多く用いられており、OpenGLと連動した物理空間の描画をシミュレーションと同期して行うことが可能となる。物理シミュレーションに基づく力覚情報の生成に関しては、数多くの研究がなされており、その他の物理シミュレーションを用い得ることが当業者に理解される。
【００６０】
ユーザが把持したペン型力覚ディスプレイを表すものとして、OptiTrackを用いて取得した各ユーザが把持したデバイスの位置姿勢に応じて、 空間内にペンを模した形状のモデルを配置する。物体とペンモデルの位置関係は、実際のブース内におけるデバイスの位置とスケールを合わせており、ユーザは自分が把持したペン型力覚ディスプレイとバーチャル環境内のペンモデルとを同一のものと捉えて物体を触ることが可能になっている。OptiTrackにおいて取得できるのは、デバイスのペン尻部に配置したマーカが成す三角形の位置と姿勢であるため、そこからペン軸方向にペンの長さ分の距離を補正した位置をペン先の位置とし、ペンモデルはデバイスのペン先の位置と姿勢に追随するように位置の制御を行った。
【００６１】
触覚情報の生成とデバイスによる提示について説明する。デバイスを用いてユーザに提示する触覚情報の生成については、PhysXの ContactReportクラスを用いて行った。ContactReportは、規定した2つの物体間で衝突が生じた際に呼び出され、衝突の開始や終了、それによりどのような力が生じたかを算出するクラスである。各ユーザが把持するペン型力覚ディスプレイに対応するペンモデルの先端の球と、環境内に配置された物体との間にContactReportの組を設定することにより、 ペンの先端に加わる力の取得が可能となった。衝突による力の算出は、シミュレーションと同様に毎秒約60フレームの更新周期で行われた。このようにして得られた衝突により生じた力情報に基づきデバイスによる力覚提示を行う。デバイスは、内部の3つのモータの駆動トルクを制御することにより、3自由度の力覚の提示が可能である。取得した各軸方向の力情報から、これらのモータの駆動トルクを決定する。ここで、ContactReportにおいて得られるのは、PhysXにおいて構築された空間座標に対する3軸の力情報である。得られた力情報に対して、OptiTrackから得られたペン型力覚ディスプレイの姿勢を表すクォータニオンを用いて座標変換を行うことにより、現実空間でのデバイスの姿勢に応じた提示すべき力情報を算出した上で、デバイスによる力覚提示を行うことができる。
【００６２】
本システムにより、同時に複数のユーザが、動作を拘束されることなく自由にバーチャル環境との触覚インタラクションを行うことができる。ユーザの動作取得については、複数のユーザの動作を、拘束や装着の手間なく実現するため、光学式のモーショントラッキングシステムを用いて行った。バーチャルな環境の構築と提示する力覚情報の生成については、現実世界の物理現象に基づいた物体の挙動や力覚情報を実現するため、物理シミュレーションエンジンを用いた実装を行った。また、次に述べるように、試作したシステムを用いて行った実験から、ペン型力覚ディスプレイにより力覚の提示を行うことにより、視覚提示のみを行う場合よりもより効果的にバーチャルな壁を表現可能であることがわかった。
【００６３】
［Ｆ］バーチャルな壁の提示に関する実験
［Ｆ−１］実験設定
試作したシステムを用いて、ペン型力覚ディスプレイによる力覚提示が空間中に配置されたバーチャルな壁を表現するのに効果があるかを検証するための実験を行った。被験者が触る壁として、図１２に示すように、PhysXで記述された空間内に50cm四方のバーチャルな壁を被験者から見てモニタ方向に30度傾けて配置した上で、図１３のようにバーチャルな壁の表面に直径30cmの円、または長さ30cmの直線を表示し、被験者にそれをペン型デバイスを用いてなぞるよう指示した。各試行においては、被験者はまず表示された円、または直線の始点にペン型デバイスの先端を合わせ、入力開始のキーを押した上で、画面を見ながら軌跡にそってペン型デバイスを動かし、終点に到達したらキーを離すという動作を行った。
【００６４】
力覚提示の効果を検証するため、それぞれの試行で力覚提示の有無を切り替えた。円と直線のそれぞれの描画において、力覚の提示の有無で2通り、各3回で、計6試行を1セットとして実験を行った。被験者は20代の男性2名、女性1名であり、全員右利きであった。実験は、モータの駆動音の影響を排除するため、ヘッドホンで白色雑音を聞かせながら行った。
【００６５】
［Ｆ−２］実験結果
円の描画、直線の描画のそれぞれの場合について、各被験者が壁をなぞった際のペン先端の壁に対する押し込み距離の二乗誤差平均平方根とその平均を、表１に示す。円の描画については、各被験者の平均で、力覚提示が無い場合が±127mm、有る場合が±52mmとなった。直線の描画については、力覚提示が無い場合が±59mm、有る場合が±32mmという結果が得られた。
【表１】
2010287221.tif 000004
【００６６】
今回行った実験においては、バーチャル空間を平面ディスプレイを用いて表示しているため、空間中の物体の三次元的な位置が直感的に分かりにくくなっている。特に円の描画を行う際には、壁が奥行き方向に傾いているため、壁の表面に沿って正確にデバイスを動かすことは困難であった。しかしながら、ペン型力覚ディスプレイによる力覚提示を行うことにより、提示される力の増減から、ユーザが壁に対して超過した距離を直感的に知覚することが可能となり、それに基づいてデバイスの動きを修正することにより、より小さな誤差での描画が行うことができたと考えられる。
【００６７】
この傾向は、特に円の描画を行う際に顕著に現れていた。図１４に、被験者3の円描画時のある試行におけるペン先端の変位の軌跡を示す。 力覚提示を行わない場合においては、被験者が実際とは異なる傾きの壁を想定し、その壁に対して円を描く動作を行ったため、壁とペン先端との位置の誤差が周期的に増減している。それに対して、力覚提示を行った場合においては、壁に対する押し込み距離により生じる力の変化に応じて被験者がペン型デバイスの位置を調整することで押し込み距離を一定に保とうと試みたことから、誤差がある範囲内に収まるような結果が得られたと考えられる。
【００６８】
表１に示した結果と併せて考えると、本実験から、提案したユーザの動作を拘束しない非接地ペン型力覚ディスプレイとそれを用いたシステムにより、バーチャルな壁の位置を効果的に表現可能であることが示せたと言える。ペン型力覚ディスプレイが非接地のデバイスでバーチャルな壁を効果的に表現できることが確認されたため、デバイスを三次元の入力インタフェースとして用いることができる。ペン型の力覚ディスプレイを用いることにより、空中での入力に対して反力の提示を行うことにより、
空中にバーチャルなキャンバスがあるかのような感覚で空間中での絵の描画や CGモデルの作成が可能になる。
【００６９】
［Ｇ］触覚を伴うＣＧモデルの作成システム
ペン型の力覚提示デバイスは、日常生活の中で利用する機会の多いペンという道具の形態を模したものであり、誰でも手軽かつ直感的に使用が可能であるという大きな利点を持つ。また、デバイスの形状がコンピュータ上における操作を行う機器としても用いやすい。本実施形態では、ペン型力覚提示デバイスを入力インタフェースとして用いることにより空中で絵を描くかのような感覚で三次元のCGモデルの作成を行うことが可能なシステム（図１５）を提案する。
【００７０】
本実施形態では、ペン型ハプティックディスプレイの利点を活かし、ユーザの手を動かすという動作を入力とし、空中で自由に手を動かすことで、空間中に絵を描くような感覚でバーチャルな環境内に物体を生成することが可能なシステムを提案する。図１６は提案するシステムの概念図である。ユーザが右手に持ったデバイスをブース内で動かすと、ブース内に動作の軌跡に応じた形状のバーチャル物体が生成される。これにより、ユーザはあたかも実空間中に絵を描くかのような感覚で三次元形状を持ったCGモデルを作成する。また、ハプティックディスプレイによる触覚提示を行うことにより、あたかも空中にバーチャルなキャンバスが存在し、それに対して描画を行っているかのような感覚を生成することや、作成した3Dモデルの形状を見るだけでなく触って確認することが可能になる。視覚的な情報だけでなく触覚の情報も含んだ3Dモデルという新しい表現の形が実現される。
【００７１】
［Ｇ−１］空中で使用可能なペン型ハプティックディスプレイ
本明細書で言及してきたペン型ハプティックディスプレイは、本体側面に配置されたリングや手に沿う形状によってユーザの手に対して固定されるベース部と、ユーザの指によって把持されるペン先部から成り、ベース部に内蔵された3本のモータにより、ペン先部の3自由度の動きが制御可能である。これにより、ベース部のリングと固定された人差し指の根元や、形状と密着した手の皮膚を支点とし、ユーザの指先に対してペン先で物体を触った際の力覚を再現することが可能となっている。
【００７２】
本実施形態においては、このデバイスをさらに3Dモデリングのインタフェースとして用いることを考え、デバイスのペン先部（可動部）に、デバイスの把持時に指先で押下可能な位置にボタンを配置した。実装したペン型力覚ディスプレイを図６Ａに示す。これにより、ユーザの6自由度の動作に加えて、ボタンの押下の有無を入力情報として利用することが可能になった。ボタン付ペン型触覚インタフェースは、例えばマウスの左クリックのように、ボタンが押されている間のペン先端の動きの軌跡を保存することで線が描かれ、保存した軌跡から形状を推定する。ユーザの動作に伴うデバイスの動きはデバイスに装着されたマーカを用いてトラッキングされており、ボタンが押されている場合にのみデバイスの先端の軌跡を保存する。
【００７３】
ペン先の移動軌跡から二次元図形のパラメータを推定する。三次元形状として球を作成する場合には、円の中心と半径をパラメータとして用いる。三次元形状として直方体を作成する場合には、長方形のサイズ（長方形の対角線の交点（中心）と長辺・短辺の長さ）及び傾きをパラメータとして用いる。傾きは、移動軌跡に対して近似平面を求める（具体的には、軌跡からの二乗誤差を最小化する傾きを求める）ことで得ることができる。
【００７４】
［Ｇ−２］バーチャル環境内でのモデル生成手法
今回構築するシステムにおいては、6台のカメラを用いたモーショントラックシステムであるOptiTrack（NaturalPoint社）をブース内に配置し、図６Ａのようにデバイスに取り付けた3つのマーカの位置を計測することにより、ブース内におけるペン型デバイスの6自由度の位置と姿勢が取得可能である。デバイスの長さからペン先端の位置の算出を行い（マーカに対するペン先端の位置が既知であり、マーカの位置座標からペン先端の位置座標を取得することができる）、ユーザがペン先部のボタンを押下している間のペン先端の位置座標を保存し、生成すべき形状のパラメータの決定を行う。
【００７５】
球の生成に関しては、ユーザの空中に円を描くような動作の軌跡に対して、軌跡を正円と仮定した場合の円の中心と半径を求めた上で、同じ半径を持つ球を円の中心座標上に生成する。直方体の生成に関しては、空中に長方形を描くような動作の軌跡に対して軌跡の中心座標を求め、長方形の4つの頂点を中心から最も距離の遠くなるような軌跡上の4点として求めた上で、その4点の座標から長方形の長さと幅を決定する。同時に軌跡に対して平面を近似することで空間中に描かれた長方形の姿勢を求め、描かれた長方形と同じ長さと幅、及び一定の奥行きを持つ直方体を、軌跡の中心座標の位置及び姿勢に合わせて生成することとした。本実施形態では、生成可能なモデルの３次元形状として、球と直方体を選択したが、他の３次元形状を用い得ることが当業者に理解される。
【００７６】
［Ｇ−３］システムの実装
以上のような手法を基に、ペン型ハプティックディスプレイを用いてバーチャル環境内でのモデルの生成を行うことが可能なシステムの実装を行った。バーチャル環境の構築は、物理シミュレーションエンジンであるPhysX（nVidia社）を用いた。これにより、毎秒60フレームの更新レートで環境中の物体の挙動の計算と描画、及びデバイスにより提示すべき触覚情報の算出が可能である。PhysXを用いて構築したバーチャル環境内には、OptiTrackにより取得したデバイスの位置と姿勢に応じて運動するペン型のモデルが配置されており、環境内の他のバーチャル物体との衝突を検出し、衝突により生じる力が算出される。算出された力に応じてデバイスを駆動させることにより、ブース内に配置されたディスプレイを見ながらデバイスを持った手を動かすことで、表示されたバーチャル物体を触った感覚が再現される。構築したシステムの外観を図１５に示す。
【００７７】
このようなバーチャル環境内において、前述のアルゴリズムに基づいてバーチャル物体の生成、配置を行った。ボタンを押下している間のデバイス先端の動作軌跡から、上述の手法により生成する形状のパラメータを算出し、バーチャル環境内にリアルタイムで形状の生成を行った。
【００７８】
例として図１７、図１８に、バーチャル環境内におけるユーザが描いた円の軌跡と、それに対して生成された球を示す。また、ユーザがボタンを押下している間はデバイスにより一定の力を提示することで、空中で描画を行うような感覚を再現した。ここでは、バーチャル空間に特定のキャンバスを配置するのではなく、ユーザが空間中に自由に描画ができるようにしたため、ボタンが押されている間にキャンバスに線を描いている感覚（モータを駆動して一定の反力）を提示している。すなわち、描画可能な範囲を一定の平面に制限せず、空間中で自由に絵を描くことを可能とする一方、あらかじめキャンバスの位置や姿勢を定めないため、ボタンが押下されて描画する時に、一定の反力提示を行うことで描画の支援を行うようにしている。一つの態様では、ボタンを押している間だけペン軸方向に力覚を提示することで、存在しないキャンバスを一定の強さで触っている感覚を提示する。
【００７９】
ここで、バーチャル環境内での描画の形態としては、「バーチャルなキャンバス上に絵を描く」、「何もない空中に絵を描く」の２つの形態がある。バーチャル壁の実験で行っているのは前者で、ＣＧモデル生成系のシステムで行っているのは後者である。バーチャル空間で実際に描画するような感覚を提示するためには、描画時にデバイスから何らかの力を指先に与える必要がある。力の提示方法としては幾つかの態様が考えられ、一定の反力を提示する、ペン先の動作と逆方向の摩擦力に対応する力を提示する、物理シミュレーションで算出したバーチャル壁との接触力を提示するなどが例示される。
【００８０】
ユーザはブース内で円や長方形を描くという動作によって、直感的に球や直方体の形状の生成を行うことが可能となり、これらの形状を複数組み合わせることで、多様なCGモデルの作成を行うことが可能となる。また、作成したモデルについては生成と同時にペン型ハプティックディスプレイを用いて触ることが可能となっており、提示される力覚情報から生成中のモデルの形状を確かめることができる。
【００８１】
ユーザがブース内で自由に手を動かすことで、空中に絵を描くような感覚で3Dモデルの作成を行うことが可能になった。ペン型ハプティックディスプレイは、物体に触った際に指先に生じる力覚をペン単体で再現可能なデバイスであり、ユーザの動作を拘束することがないため、従来のシステムと比較して、ユーザがより広い空間で手を動かして、気軽にCGモデルの作成と体験を行うことができる。
【００８２】
このように、本実施形態では、ユーザの広い動作範囲を許容するペン型ハプティックディスプレイをインタフェースとして用いることにより、ユーザが空中で自由に手を動かして絵を描くような感覚でCGモデルの作成を行うことが可能なシステムを提案し、プロトタイプとして球や直方体を組み合わせたモデルの作成が可能なシステムを実装した。ユーザの空中に円や長方形を描く動作の軌跡から生成すべき形状のパラメータを求める手法を実装し、物理シミュレーションエンジンを用いて構築したバーチャル空間においてモデルの作成を行うとともに、作成したモデルを触って体験することが可能になった。
【００８３】
本実施形態で実装したシステムにおいては、球や直方体という単純な形状の生成について説明したが、ユーザが自由に描いた軌跡に対して、軌跡を平面に投射した上で、Teddy[T. Igarashi, S. Matsuoka, and H. Tanaka, “Teddy: a sketching
interface for 3D freeform design,” In Proceedings of ACM SIGGRAPH 2007, pp.
409-416, 2007.]において用いられているようなアルゴリズムを用いて平面状の二次元の軌跡に対する最適な三次元形状の生成を行うことで、より複雑なモデルを作成することも可能である。また生成されるモデルに対して、硬さなどの触覚に関わるパラメータを設定可能にすることにより、触覚情報を含んだCGモデルの作成を行うことも可能である。
【００８４】
構築したシステムでは、ペン型ハプティックディスプレイの先端座標の軌跡から、生成すべき形状のパラメータを決定したが、既に生成された形状に関して、位置や大きさなどのパラメータを任意に変更可能にすることで、3Dモデリングシステムとしてのユーザビリティを向上させることが望ましい。
【００８５】
構築したシステムでは、形状の硬さや摩擦などの触覚に関わるパラメータについては、あらかじめ決められた値を用いたが、ペン型ハプティックディスプレイの力覚の提示性能を活かし、作成した3Dモデルを触るという体験にも付加価値を与えるためにも、形状ごとにこれらのパラメータの設定を行えるようにすることが望ましい。
【００８６】
構築したシステムでは、バーチャル環境の視覚的な提示については、単一の平面ディスプレイによる映像の提示のみを行った。ハプティックディスプレイを用いてモデルを触ることが可能であることから、二次元的な映像の提示しか行われない場合でも、位置関係をある程度正確に認識することは可能であるとは考えられる。しかしながら、立体ディスプレイを用いることにより、バーチャル環境を立体的な映像を用いて表現することが効果的であると考えられる（図２０参照）。三次元的な視覚情報と触覚情報を同時に再現することにより、バーチャル物体の存在感が向上し、あたかも実空間中に3Dモデルが存在するかのような感覚で、モデルの生成やモデルとの触覚インタラクションを行うことが可能になる。立体映像を提示するためのデバイスとしては既存のデバイスを用いることができる。例えば、図２０のシステムにおいて、３Ｄプロジェクタとして、ソリッドレイ研究所のSight3Dを用いることができ、立体メガネとして、nVidiaの3D Visionを用いることができる。図２０において、操作選択用パレットは、作成モードと触覚モードとの切り替えや、色、大きさ、硬度等の選択を行う入力手段であり、手持ちの小型タッチパネルや映像として空間中に提示することで用意される。
【産業上の利用可能性】
【００８７】
本発明は、使い勝手がよく動作範囲が制限されることなく使用できるため、手軽な入出力インタフェースの１つとして、触覚提示装置の一般への普及に貢献する。また、使用を始める際の煩わしさがなく、リンク機構等の煩雑な構造を持たないので持ち運びが可能であり、博物館等の公共の場で、バーチャルな展示物を多人数で同時に触ることが可能なシステムに応用することができる。また、本発明は、触覚を伴うＣＧモデルの作成システムに応用することもできる。
【符号の説明】
【００８８】
１  ベース
１０  本体
１１  固定リング
２  可動部
２０  本体
２０a  先端部
３  モータ
４  プーリ
５  タコ糸
【図４】
2010287221.tif 000005
【図１１】
2010287221.tif 000006
【図１】
2010287221.tif 000007
【図２】
2010287221.tif 000008
【図３】
2010287221.tif 000009
【図３Ａ】
2010287221.tif 000010
【図５】
2010287221.tif 000011
【図６】
2010287221.tif 000012
【図６Ａ】
2010287221.tif 000013
【図７】
2010287221.tif 000014
【図８】
2010287221.tif 000015
【図９】
2010287221.tif 000016
【図１０】
2010287221.tif 000017
【図１２】
2010287221.tif 000018
【図１３】
2010287221.tif 000019
【図１４】
2010287221.tif 000020
【図１５】
2010287221.tif 000021
【図１６】
2010287221.tif 000022
【図１７】
2010287221.tif 000023
【図１８】
2010287221.tif 000024
【図１９】
2010287221.tif 000025
【図２０】
2010287221.tif 000026