(57)【要約】【課題】仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示する。【解決手段】仮想空間上の仮想物体をユーザに触力覚で提示する触力覚提示装置において、前記ユーザの実空間上の指又は手の位置と、前記仮想物体の形状に対応する表面の位置とを比較し、前記実空間上の指又は手の位置が前記仮想物体の表面に接触している場合に、前記ユーザの指又は手で前記仮想物体の対向する位置を押したときのそれぞれの圧力分布を算出する圧力分布算出部と、前記仮想物体の対向する位置を押した前記ユーザの指又は手に対して前記仮想物体の物理特性情報に対応する反力を与える駆動部と、前記圧力分布算出部により得られる圧力分布に対応した反力を前記駆動部により前記ユーザの指又は手に伝達させる力覚提示制御部とを有することにより、上記課題を解決する。【選択図】図１
2015215795.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間上の仮想物体をユーザに触力覚で提示する触力覚提示装置において、
前記ユーザの実空間上の指又は手の位置と、前記仮想物体の形状に対応する表面の位置とを比較し、前記実空間上の指又は手の位置が前記仮想物体の表面に接触している場合に、前記ユーザの指又は手で前記仮想物体の対向する位置を押したときのそれぞれの圧力分布を算出する圧力分布算出部と、
前記仮想物体の対向する位置を押した前記ユーザの指又は手に対して前記仮想物体の物理特性情報に対応する反力を与える駆動部と、
前記圧力分布算出部により得られる圧力分布に対応した反力を前記駆動部により前記ユーザの指又は手に伝達させる力覚提示制御部とを有することを特徴とする触力覚提示装置。
【請求項２】
前記駆動部は、
前記ユーザの各指又は手に対して少なくとも３つの力覚提示部を用いて多点による前記反力を提示することを特徴とする請求項１に記載の触力覚提示装置。
【請求項３】
前記力覚提示制御部は、
前記ユーザの指又は手の位置を検出する位置センサと、
前記ユーザの指又は手による圧力を検出する圧力センサとを有し、
前記圧力分布算出部は、
前記位置センサからの位置情報と、前記圧力センサからの圧力情報とに基づいて、前記圧力分布を算出し、算出した圧力分布に対応した反力を前記力覚提示制御部に出力することを特徴とする請求項２に記載の触力覚提示装置。
【請求項４】
前記圧力分布算出部は、
前記駆動部の先端に加わる力の３次元ベクトルに応じて、前記仮想物体の表面における前記ユーザの指先の各点の圧力分布を算出することを特徴とする請求項１乃至３の何れか１項に記載の触力覚提示装置。
【請求項５】
前記圧力分布算出部は、
前記仮想物体の表面の硬さ分布が一様な場合には、前記ユーザの指先の各点と、前記仮想物体の表面との間の圧力分布を、前記ユーザの指先の各点が前記仮想物体に加える力の３次元ベクトルと、前記仮想物体の表面が前記ユーザの指先の各点を押し返す反作用の力の３次元ベクトルとが各点においてそれぞれ釣り合う状態になるように圧力分布を算出することを特徴とする請求項１乃至４の何れか１項に記載の触力覚提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触力覚提示装置に係り、特にユーザが物体を触った際の反力を指や手の触力覚に提示する触力覚提示装置に関する。
【背景技術】
【０００２】
テレビ放送やインターネット等による情報提供では、美術品の造形を映したり、模型やコンピュータグラフィックスを用いたりすることで，物体の情報の大部分を視覚的に伝えている。このような物体の３次元形状等の情報は、視覚的には伝わるが、音声や点字等の言語情報を用いた手段によって伝達することは難しい。そこで、例えば視覚障害者等へ伝える物体の形状の情報を保障するために、音声による情報提示だけでなく、触力覚による情報提示が求められている。
【０００３】
従来では、３次元形状を触力覚に提示する手段として、スタイラス（ペン型の入力装置）又は指サックを装着した指先の一点に、反力を提示する力覚フィードバックデバイスが存在する（例えば、非特許文献１参照）。非特許文献１に示す方法（以下、「第１の方法」という）は、物体を触った際の反力を手や指の触力覚に提示する手法であり、計算機上に構築した仮想空間内の仮想物体と、提示装置を介して入力されるユーザの指の位置を表すボインタとの接触時の反力を、規定の物理法則に基づいて算出し、モータのトルクやワイヤーの張力を用いてスタイラスや指サックを介して提示する。
【０００４】
しかしながら、第１の方法では、算出により提示される反力は、指の１点に働く力であり、この１点に対する力が指サックを介して一様に加えられるため、指と物体が接触した際の皮膚の変形を再現することができない。このため、第１の方法では、物体のエッジ部分等の面の不連続な箇所においては、指がエッジを完全に超えた時点でエッジであることを知ることとなり、指が面に追従できずに物体から逸脱するという問題がある。
【０００５】
これに対し、従来では、エッジ等の特徴点において、硬さや摩擦、物体からの仮想的な引力等のパラメータを適応的に変化させることで、物体の滑らかな触察を支援する第２及び第３の方法がある（例えば、特許文献１，２参照）。
【０００６】
しかしながら、上述した第２及び第３の方法は、上述した第１の方法等を用いることを前提としているため、指の皮膚での物体形状の知覚や物体の輪郭に沿った触察を実現することはできない。
【０００７】
なお、指の皮膚の変形を再現するという課題に対しては、指先の任意の面積の皮膚に対し、力覚ディスプレイ（アクチュエータ）を用いて皮膚の多点にわたってそれぞれ独立な力の３次元ベクトルを提示することで、物体に触った際の当該部位の皮膚の変形と、皮膚が受ける力の分布を再現する第４の方法が存在する（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２３８０６８号公報
【特許文献２】特開２０１１−２３８０６９号公報
【非特許文献】
【０００９】
【非特許文献１】Ｇｅｏｍａｇｉｃ  Ｔｏｕｃｈ／ＰＨＡＮＴｏＭシリーズ，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｇｅｏｍａｇｉｃ．ｃｏｍ／ｅｎ／ｐｒｏｄｕｃｔｓ／ｐｈａｎｔｏｍ−ｏｍｎｉ／ｏｖｅｒｖｉｅｗ＞
【非特許文献２】半田，坂井，清水，篠田，"指先への多点分布力覚提示による３次元形状特徴の認知−力覚刺激点の数による稜線と頂点の主観評価−"，電子情報通信学会技術研究報告，ｖｏｌ．１１２，ｎｏ．４８３，ＨＩＰ２０１２−７５，ｐｐ．１３−１６，２０１２．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した第４の方法は、皮膚の多点にわたってそれぞれに独立な力の３次元ベクトルを提示するために、地面に土台を持つ接地型の３自由度の力覚ディスプレイが少なくとも３つ必要であり、触れるオブジェクトのサイズや触察範囲が限定されてしまう。
【００１１】
本発明は、上述した問題点に鑑みなされたものであり、仮想的に物体を提示する際に、実物体に近い触感覚をより高精度に提示するための触力覚提示装置を提供することを目的とする。更に言い換えれば、本発明の目的は、仮想物体の触力覚提示において、実物体を触察しているような、より自然な触感覚を得られる触力覚提示装置を提供することである。
【課題を解決するための手段】
【００１２】
一つの態様では、仮想空間上の仮想物体をユーザに触力覚で提示する触力覚提示装置において、前記ユーザの実空間上の指又は手の位置と、前記仮想物体の形状に対応する表面の位置とを比較し、前記実空間上の指又は手の位置が前記仮想物体の表面に接触している場合に、前記ユーザの指又は手で前記仮想物体の対向する位置を押したときのそれぞれの圧力分布を算出する圧力分布算出部と、前記仮想物体の対向する位置を押した前記ユーザの指又は手に対して前記仮想物体の物理特性情報に対応する反力を与える駆動部と、前記圧力分布算出部により得られる圧力分布に対応した反力を前記駆動部により前記ユーザの指又は手に伝達させる力覚提示制御部とを有する。
【発明の効果】
【００１３】
本発明によれば、仮想的に物体を提示する際に、実物体に近い触感覚をより高精度に提示することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における触力覚提示装置の機能構成の一例を示す図である。
【図２】触力覚提示の具体例を説明するための図である。
【図３】触力覚提示処理の一例を示すフローチャートである。
【図４】形状点群データの一例を示す図である。
【図５】硬さ分布データの一例を示す図である。
【図６】硬さの補間方法について説明するための図である。
【発明を実施するための形態】
【００１５】
＜本発明について＞
本発明は、例えば２本の指（例えば拇指（親指）、示指（人差し指）等）で仮想物体（オブジェクト）を把持する際に、対向する拇指と示指との指先の皮膚に対し、各指で少なくとも３つのアクチュエータ（駆動部）を用いて、皮膚の少なくとも３点にそれぞれ独立な１次元の力ベクトルを提示する。少なくとも３点を有することで、面を形成することができ、仮想物体の表面形状としての平面やエッジを表現することができる。したがって、ユーザは、仮想物体の表面形状を認識し易くなる。
【００１６】
また、本実施形態において、少なくとも３点を駆動させる３つのアクチュエータは、各々が少なくとも１自由度を有する。１自由度とは、各々のアクチュエータが提示できる力ベクトルの方向が予め設定された単一の方向のみであることをいうが、これに限定されるものではなく、例えば３つのアクチュエータが１〜３自由度を有していてもよい。例えば３自由度の場合には、各アクチュエータが異なる方向に異なる力ベクトルを提示できることをいう。また、本実施形態において、各指に対して反力を伝える点数は、少なくとも３つであるが、特に４つが好ましい。
【００１７】
本実施形態では、上述したアクチュエータ機構を用いることで、実際に物体に触った際に各指の皮膚が受ける力の分布とその分布に基づく各指の皮膚の変形とを仮想的に再現することができる。したがって、例えば物体のエッジ等の面の不連続な箇所、及び、面の角度や曲率等を触知することが容易となり、物体の輪郭や表面に沿った触察が可能となる。
【００１８】
また、本実施形態では、例えば対向する指で把持可能な物体に関して従来の接地型の提示装置以上の提示力を出すことが可能となる。例えば、従来では接地型の提示装置の稼働範囲でしか得ることができなかった３次元形状を、接地による制限を受けることなく、触れる仮想物体のサイズや触察範囲を拡大することができる。また、仮想物体の硬さ等を、把持したときの対向する指の刺激点毎の間の反力の違いから得ることができる。
【００１９】
次に、上述したような特徴を有する本発明における触力覚提示装置を好適に実施した形態について、図面等を用いて詳細に説明する。なお、以下の例では、対向する拇指（親指）と示指（人差し指）とで仮想物体を把持したときの指先の皮膚に対して触力覚を提示する例を示すが、本実施形態はこれに限定されるものではなく、例えば他の指で把持する場合や両手で把持する場合等にも適用することができる。また、「対向する」とは、ある程度の許容範囲を有する対向する位置関係をいう。
【００２０】
＜触力覚提示装置の機能構成例＞
図１は、本実施形態における触力覚提示装置の機能構成の一例を示す図である。図１の例に示す触力覚提示装置１０は、圧力分布算出部１１と、表示部１２と、１又は複数の力覚提示制御部１３−１〜１３−Ｎ（以下、必要に応じて「力覚提示制御部１３」という）とを有する。力覚提示制御部１３は、アクチュエータ制御部（駆動制御部）２１と、アクチュエータ（駆動部）２２と、３次元位置センサ２３と、３次元位置データ入力部２４と、圧力センサ２５と、３次元圧力データ入力部２６とを有する。
【００２１】
圧力分布算出部１１は、ユーザの実空間上の指の位置と、オブジェクトの形状に対応する表面の位置とを比較し、実空間上の指の位置がオブジェクトの表面に接触している場合に、ユーザの指でオブジェクトの対向する位置を押したときのそれぞれの圧力分布を算出する。
【００２２】
具体的に説明すると、まず圧力分布算出部１１は、予め設定された触力覚で提示するためのオブジェクトデータ（例えば、３次元仮想物体データ）３０を入力する。ここで、オブジェクトデータ３０は、例えばユーザに触力覚で提示するオブジェクトの３次元形状及び／又はベースとなる硬さの情報を含むデータである。
【００２３】
オブジェクトデータ３０としては、例えばオブジェクトの形状を複数の点群で示す形状点群データや、オブジェクトの硬さを示す硬さ分布データ等の物理特性情報等があるが、これに限定されるものではない。物理特性情報は、オブジェクトの表面の物理特性として、上述した硬さ分布データだけでなく、静止摩擦、動摩擦、表面粗さ等のデータを有していてもよい。
【００２４】
ここで、本実施形態では、オブジェクトの表面の硬さ分布が一様でない場合も想定している。例えば、表面の硬さ分布が一様である場合には、上述した硬さ分布データを用いることとし、表面の硬さ分布が一様でない場合には、硬さ分布が一様である場合の硬さをベース（基準値）として、その相対値で硬さを表すことができる。
【００２５】
オブジェクトデータ３０は、３次元デジタイザや各種の計測器等で実物体の情報を取得し、その取得した情報から生成してもよく、またＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）によって仮想的なオブジェクトの形状や硬さ等を生成してもよい。
【００２６】
次に、圧力分布算出部１１は、各力覚提示制御部１３−１〜１３−ｎの３次元位置データ入力部２４から得られる位置情報と、３次元圧力データ入力部２６から得られる圧力情報とを入力し、各アクチュエータの位置と、オブジェクト形状の位置とに基づいて、オブジェクト表面に対応する各地点における圧力分布を算出する。例えば、柔らかいオブジェクトの表面のある１点を強く押した場合には、その周辺も変形し、その変形はオブジェクトの硬さによって異なる。
【００２７】
したがって、圧力分布算出部１１は、１つの指に対して割り当てられた少なくとも３点に対応する各アクチュエータ２２の先端（指との接触点）の位置の分布と、オブジェクトデータ３０に含まれる形状点群データや硬さ分布データ等に基づいて、その３点のそれぞれの圧力からなる圧力分布を算出する。なお、圧力分布の算出は、例えば、３点のそれぞれの距離の差（位置関係）と、各点にかかる３次元又は１次元の力の大きさの差（力関係）とを算出し、その結果に対応させて圧力分布を取得することができるが、これに限定されるものではない。
【００２８】
また、本実施形態では、オブジェクトを把持している対向する２つの指のうち、一方の指で押した圧力が、他方の指の反力にも影響し、その影響は、オブジェクトの硬さにも依存する。そのため、圧力分布算出部１１は、上述した影響に対応する圧力を付加して、対向する２つの指に対してそれぞれ割り当てられた少なくとも３点による圧力分布を算出する。
【００２９】
なお、圧力分布算出部１１は、形状点群データの一部に硬さ分布データによる硬さデータが含まれていない場合には、硬さデータが存在する座標と、その座標からの距離に基づいて硬さデータの補間を行い、補間した硬さデータを用いて圧力分布を算出してもよい。
【００３０】
圧力分布算出部１１は、上述の処理により、算出された圧力分布情報を各力覚提示制御部１３に出力する。また、圧力分布算出部１１は、力覚提示制御部１３の各センサ（例えば、３次元位置センサ２３及び圧力センサ２５）から得られる情報をリアルタイムに取得し、取得した情報に基づいて圧力分布を算出してフィードバック制御を行う。
【００３１】
表示部１２は、オブジェクトデータ３０を入力し、入力されたオブジェクトデータに対応するオブジェクトを画面に表示する。また、表示部１２は、圧力分布算出部１１により得られる圧力分布情報や、３次元センサによる位置情報等に基づいて、表示されたオブジェクトに対するユーザの指又は手の位置を表示する。
【００３２】
なお、本実施形態では、オブジェクトデータ３０に含まれるオブジェクトの位置を示す座標系と、表示部１２の画面に表示させる仮想空間での座標系、力覚提示制御部１３から得られる実空間での指の位置（３次元位置）の座標系とは、それぞれ所定の座標系（例えば、ワールド座標系、ローカル座標系等）で対応付けられており、異なる座標系の情報が存在する場合には、一般的な座標系変換処理等を用いて対応する座標系に変換することができる。
【００３３】
力覚提示制御部１３は、圧力分布算出部１１から得られる圧力分布情報に基づいてアクチュエータ２２を駆動させると共に、１又は複数のセンサにより得られる指の位置情報や指でオブジェクトを押したときに生じる圧力情報等を入力して、圧力分布算出部１１に出力する。センサの一例としては、例えば図１に示す３次元位置センサ２３や圧力センサ２５等があるが、これに限定されるものではない。
【００３４】
力覚提示制御部１３について、具体的に説明すると、アクチュエータ制御部２１は、ユーザの指や手に対し、オブジェクト形状や物理特性情報（例えば、硬さ、静止摩擦、動摩擦、表面粗さ等）等に対応する反力を伝えるアクチュエータ２２の駆動制御を行う。例えば、アクチュエータ制御部２１は、圧力分布算出部１１により得られる圧力分布に対応した反力をオブジェクトの対向する位置を押したユーザの指又は手に伝達させるようにアクチュエータ２２を制御する。。
【００３５】
アクチュエータ２２は、例えばオブジェクトの対向する位置を押したユーザの指又は手に対してオブジェクトの物理特性情報等に対応する反力を与える。アクチュエータ２２は、例えばオブジェクトの対向する位置にあるユーザの拇指と示指の指先の皮膚の各点（例えば、３点）に力覚利激を与える１自由度のアクチュエータである。本実施形態では、少なくとも３つのアクチュエータ２２が１本の指に割り当てられる。
【００３６】
ここで、アクチュエータ２２は、例えばアームや先端部（ポインタ）等を有する。アクチュエータ２２は、例えばアームの関節の屈曲や伸縮等の駆動力を発生させるサーボモータ等であり、アームの先端に設けられ、ユーザの指の皮膚と直接接触するポインタから所定の反力を伝達する。
【００３７】
３次元位置センサ２３は、例えば実空間において仮想のオブジェクトを把持しようとするユーザの指先（言い換えれば、上述したポインタ（先端部））の３次元位置（ｘ，ｙ，ｚ）を取得するためのセンサである。３次元位置センサ２３としては、例えば各種のモーショントラッキングシステムに採用されている位置センサが使用可能である。例えば、磁気を利用した３次元位置センサＰＯＬＨＥＭＵＳ＜ポヒマス＞（インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｄｄｄ．ｃｏ．ｊｐ／ｐｏｌｈｅｍｕｓ／＞）やＦａｓｔｒａｋ（登録商標）（インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｓｏｌｉｄｒａｙ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔ／３ｄｇｌｏｖｅ／ｓｅｎｓｏｒ１．ｈｔｍｌ＞）、再帰反射性のマーカを用いた光学式の３次元位置センサシステムＶＩＣＯＮ（登録商標）（インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｃｒｅｓｃｅｎｔｉｎｃ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔ／ｖｉｃｏｎ／ｐ＿ｔｏｐ／＞）等を用いることができるが、これに限定されるものではない。３次元位置データ入力部２４は、３次元位置センサ２３により検出した位置情報を取得し、取得した位置情報を圧力分布算出部１１に出力する。
【００３８】
圧力センサ２５は、ユーザの指の皮膚からアクチュエータ２２（更に具体的には、上述したポインタ）に加える力の３次元ベクトルを計測するセンサである。圧力センサ２５は、３次元圧力データ入力部２６として、単位時間毎のポインタ（アクチュエータ先端）に加わる力を計測する圧力センサであればよい。圧力センサ２５としては、例えばダイアフラム（膜）に加わる圧力をダイアフラムの変形から検出するタイプとして、静電容量の変化や歪ゲージを使ったタイプがある。
【００３９】
また、圧力センサ２５としては、フィルムやシート状の圧力分布センサを用いることで、アクチュエータ２２にかかる力を面全体の圧力分布として取得することもできる。この場合の圧力センサ２５は、例えば大面積用圧力分布測定システム（インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｎｉｔｔａ．ｃｏ．ｊｐ／？ｐｏｓｔ＿ｔｙｐｅ＝ｓｅｎｓｏｒ＆ｐ＝７４３２）等を用いることができるが、これに限定されるものではない。
【００４０】
更に、圧力センサ２５としては、例えば複数のアクチュエータ２２に加わる力の計測が可能であってもよいため、例えば歪ゲージや圧電素子を用いた３軸及び６軸の力センサを用いることもできるが、これに限定されるものではない。
【００４１】
３次元圧力データ入力部２６は、圧力センサ２５が圧力を検出すると、その圧力の値や圧力がかかった位置、方向等の圧力情報を取得し、取得した圧力情報を圧力分布算出部１１に出力する。
【００４２】
これにより、圧力分布算出部１１では、上述した３次元位置データ入力部２４から得られる位置情報と、３次元圧力データ入力部２６から得られる圧力情報と、上述したオブジェクトデータ３０とに基づいて、圧力分布が算出され、その結果がアクチュエータ制御部２１に出力され、アクチュエータ２２の駆動制御が行われる。
【００４３】
図１に示す触力覚提示装置１０は、複数の力覚提示制御部１３でそれぞれ上述した処理が行われる。例えば、ユーザが、拇指と示指とでオブジェクトを対向する位置で把持する場合には、２つの指のそれぞれで３つのアクチュエータ２２を用いるため、合計６つの力覚提示制御部１３−１〜１３−６が必要となるが、これに限定されるものではない。例えば１つのアクチュエータにおいて、対向する２点に対しアームによる駆動が可能であれば、合計の３つの力覚提示制御部１３−１〜１３−３が必要となる。
【００４４】
なお、力覚提示制御部１３の数は、オブジェクトデータ３０の内容や、ユーザが触察する指の数、ポインタの大きさ、触力覚提示装置１０の仕様等に対応させて任意に設定することができる。
【００４５】
また、図１における触力覚提示装置１０は、圧力分布算出部１１及び表示部１２をＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理装置が有し、力覚提示制御部１３を他の装置（例えば、ユーザが指や手で直接把持可能な実物体）が有する構成であってもよい。この場合、情報処理装置側と他の装置（実物体）側との情報の送受信（図１に示す点線部分）は、ケーブル等を用いた有線通信により行ってもよく、例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信、その他の無線通信等により行ってもよい。また、実物体側には、バッテリ等の電源機構を有し、その電力を用いてアクチュエータの駆動や各センサからの情報の入力、情報処理装置との情報の送受信を行う。
【００４６】
また、本実施形態では、１つの情報処理装置が複数の実物体を管理する構成であってもよい。この場合、両手で把持された異なる実物体を用いてオブジェクトの形状を表現することもできる。
【００４７】
＜触力覚提示装置１０における触力覚提示の具体例＞
次に、触力覚提示装置１０における触力覚提示の具体例について、図を用いて説明する。図２は、触力覚提示の具体例を説明するための図である。図２（Ａ）は、表示部１２等により表示された仮想空間上のオブジェクト４０の一例を示し、図２（Ｂ）は、実空間で図２（Ａ）に示すオブジェクト４０に対応する触力覚を提示する力覚提示制御部１３の概略図を示している。
【００４８】
本実施形態では、例えば図２（Ａ）の例に示すように、オブジェクトデータ３０から得られる形状点群データやオブジェクトの硬さを示す硬さ分布データが設定された仮想空間上のオブジェクト４０の情報を、ユーザが実際に触力覚として取得する。そのため、本実施形態では、図２（Ｂ）に示すように、実空間上では、例えば６つの１自由度のアクチュエータ２２−１〜２２−６を用いる。
【００４９】
アクチュエータ２２−１〜２２−６は、それぞれ上述したアーム３１が設けられており、アーム３１の先端には、ユーザの指と接触するポインタ（力覚提示部）３２−１〜３２−６が設けられている。ポインタ３２−１〜３２−３は、実物体である力覚提示制御部１３を把持する２本の指のうち、拇指５１に対応する３点のポインタであり、ポインタ３２−４〜３２−６は、示指５２に対応する３点のポインタである。また、ポインタ３２は、数ミリ程度の鉄球等でもよいが、形状、大きさ、硬度、材質等は特に制限されるものではない。
【００５０】
また、本実施形態では、図２（Ｂ）に示すようにアーム３１の他に各アクチュエータ２２−１〜２２−６間での相対的な位置を固定するためのアーム３３も有する。アーム３３は、具体的には、図２（Ｂ）に示すようにアクチュエータ２２−１とアクチュエータ２２−４、アクチュエータ２２−２とアクチュエータ２２−５、及びアクチュエータ２２−３とアクチュエータ２２−６のそれぞれの相対的な位置を固定する。したがって、アーム３３は、伸縮等を行わず固定されている。
【００５１】
なお、本実施形態においては、これに限定されるものではなく、例えば力覚で提示する対象のオブジェクトサイズに対応させてアーム３３を伸縮させてもよい。その場合のアーム３３の伸縮制御についても、上述したアクチュエータ制御部２１によって行われる。
【００５２】
このように、実空間上において、６つのアクチュエータ２２−１〜２２−６（具体的には、力覚提示制御部１３−１〜１３−６）により、オブジェクト４０を触察した際の指の皮膚の変形の再現と、オブジェクト４０の面の再現が可能となる。なお、本実施形態では、より複雑なオブジェクトの形状を提示するために、より多くの１自由度を持つアクチュエータを用いてもよい。
【００５３】
ここで、本実施形態では、アクチュエータ２２−１〜２２−６は、全て非接地であり、力覚提示制御部１３は、常にユーザの指や手で把持された状態となる。したがって、本実施形態では、３次元位置センサ２３−１〜２３−３の実空間での３次元位置（言い換えれば、アクチュエータ２２の先端の３次元位置）を単位時間毎に取得し、取得した単位時間毎の位置情報を圧力分布算出部１１に出力する。同様に、３次元圧力データ入力部は２６は、各ポインタ３２−１〜３２−６に設けられた圧力センサ２５−１〜２５−６に加わる力（＝アクチュエータ先端に加わる力）を単位時間毎に取得して圧力分布算出部１１に出力する。
【００５４】
このとき、図２（Ｂ）に示す実空間における各ポインタ３２−１〜３２−６の３次元位置（ｘ，ｙ，ｚ）の取得には、基準となる３次元位置（絶対的な３次元位置）が必要になるが、例えば連結されたアクチュエータ２２−１〜２２−６の全体に対して絶対位置を設定することで、その絶対位置からの相対的な位置関係により、各ポインタ３２−１〜３２−６の３次元位置を取得することができる。
【００５５】
また、圧力センサ２５−１〜２５−６においては、シート型等の圧力センサにより、アクチュエータ２２−１〜２２−６の先端が構成する面内の圧力分布を測定してもよい。
【００５６】
ここで、圧力を加える方向（表面に対して垂直方向に力を加える場合や表面に対して斜め方向に力を加える場合等）に応じた力覚制御の内容（例えば指先の３点の位置関係等）については、指全体の動き、及びそれに伴う皮膚表面の変形量によって変わるため、力覚制御の内容自体は仮想空間のオブジェクト４０の表面形状とそれに伴う圧力分布によることになる。
【００５７】
圧力分布算出部１１は、計算機上に構築した仮想空間内において、３次元位置データ入力部２４より出力されるアクチュエータ２２−１〜２２−６の先端の空間位置と、３次元圧力データ入力部２６より提供されるアクチュエータ２２−１〜２２−６の先端（ポインタ３２−１〜３２−６）に加わる力の３次元ベクトルに応じて、オブジェクトデータ３０より提供されるオブジェクト４０の表面における指先の各点の理想的な圧力分布を算出する。
【００５８】
なお、本実施形態において、オブジェクト４０の表面の硬さ分布が一様な場合には、指先の各点とオブジェクトの表面との間の圧力分布は、指先の各点がオブジェクトに加える力の３次元ベクトルと、オブジェクトの表面が指先の各点を押し返す反作用の力の３次元ベクトルとが各点においてそれぞれ釣り合う状態を理想的な圧力分布とする。アクチュエータ制御部２１−１〜２１−６は、圧力分布算出部１１が算出した理想的な圧力分布となるように、アクチュエータ２２の変位及び各アーム３１への駆動を制御する。
【００５９】
また、オブジェクト４０の表面の硬さ分布が一様ではない場合は、オブジェクト４０に対応するオブジェクトデータ３０に含まれる硬さ分布パラメータがオブジェクトの各部分毎に異なるようなオブジェクトデータを用いることで、圧力分布算出部１１は、上述した硬さ分布パラメータに応じた理想的な圧力分布を算出することができる。
【００６０】
これにより、仮想空間におけるオブジェクト４０を押すことで生じる反力の情報を力覚提示制御部１３から取得することができる。また、圧力分布算出部１１により得られる圧力分布情報や位置情報等に対応させて、図２（Ａ）に示すように、表示部１２に表示されたオブジェクト４０を変形させたり、仮想的な拇指５１'及び示指５２'を表示させることができる。これにより、ユーザにオブジェクトを触っていることを、視覚を通じて提示することもできる。
【００６１】
また、本実施形態において、例えば各アクチュエータ２２の先端に配置した圧力センサ２５と３次元位置センサ２３を含むポインタ３２は、ユーザの指の当該部位に密着した状態で、基本的にはその部位に追従して受動的に同じ動きをする。
【００６２】
したがって、例えばオブジェクト４０との接触がない状態では、指に追従してイナーシャ（慣性）等がなく自由に動くのが理想的であるが、機構的には困難である。そこで、本実施形態では、圧力センサ２５の値が限りなくゼロに近くなるようにアクティブ制御を行ってもよい。
【００６３】
なお、上述したオブジェクト４０の例では、ユーザが２本の指で把持可能な立方体を示しているが、これに限定されるものではなく、例えば球体や円筒、円錐でもよく、両手で把持するようなサイズのオブジェクトでもよい。
【００６４】
＜触力覚提示処理の一例＞
次に、触力覚提示処理の一例について、フローチャートを用いて説明する。図３は、触力覚提示処理の一例を示すフローチャートである。図３の例において、触力覚提示装置１０は、変数Ｎに初期値１を設定する（Ｓ０１）。この変数Ｎは、アクチュエータ２２の数（言い換えれば、指に接触するポインタの数）に対応するものであり、アクチュエータ毎に後段の処理を実行する。
【００６５】
触力覚提示装置１０は、３次元位置センサ２３によりアクチュエータＮの３次元位置を取得する（Ｓ０２）。なお、Ｓ０２の処理において、アクチュエータＮの３次元位置とは、具体的には、アクチュエータＮの先端（言い換えれば、指に接触するポインタ）の３次元位置であるが、これに限定されるものではなく、アクチュエータの中心の３次元座標でもよい。
【００６６】
次に、触力覚提示装置１０は、上述したオブジェクトデータ３０を参照し（Ｓ０３）、アクチュエータＮの位置情報と、オブジェクトデータ３０から得られるオブジェクトの位置とを比較し（Ｓ０４）、アクチュエータＮとオブジェクトとが接触しているか否かを判断する（Ｓ０５）。
【００６７】
ここで、触力覚提示装置１０は、アクチュエータＮとオブジェクトとが接触している場合（Ｓ０５において、ＹＥＳ）、圧力センサ２５によりアクチュエータＮにかかる圧力情報を取得する（Ｓ０６）。
【００６８】
次に、触力覚提示装置１０は、圧力分布算出部１１により、オブジェクトデータ３０と、アクチュエータＮの３次元位置情報や圧力情報等とに基づいてオブジェクト表面の圧力分布を算出する（Ｓ０７）。なお、Ｓ０７の処理では、例えば１つの指に対して割り当てられた少なくとも３つのアクチュエータの位置情報や圧力情報に基づいて圧力分布を算出することができるが、これに限定されるものはない。
【００６９】
次に、触力覚提示装置１０は、アクチュエータＮにかかる力がオブジェクト表面の圧力分布に適合しているかを判断する（Ｓ０８）。ここで、適合とは、アクチュエータＮにかかる力が、圧力分布に対応する力の範囲に含まれるか否かで判断し、含まれている場合には「適合している」と、含まれていない場合には「適合していない」と判断される。なお、圧力分布に対応する力の範囲には、所定の許容範囲を有していてもよい。
【００７０】
アクチュエータＮにかかる力がオブジェクト表面の圧力分布に適合していない場合（Ｓ０８において、ＮＯ）、Ｓ０７の処理で得られた算出結果に基づいて、アクチュエータ制御部２１によりアクチュエータＮを制御して力ベクトルを出力し（Ｓ０９）、Ｓ０６の処理に戻る。
【００７１】
また、触力覚提示装置１０は、Ｓ０８の処理において、アクチュエータＮにかかる力がオブジェクト表面の圧力分布に適合している場合（Ｓ０８において、ＹＥＳ）、又は、上述したＳ０５の処理において、アクチュエータＮとオブジェクトとが接触していない場合（Ｓ０５において、ＮＯ）、次のアクチュエータＮ＋１があるか否かを判断し（Ｓ１０）、次のアクチュエータＮ＋１がある場合（Ｓ１０において、ＹＥＳ）、変数Ｎを１増加（Ｎ＝Ｎ＋１）し（Ｓ１１）、Ｓ０２の処理に戻り、次の力覚提示制御部１３に対する処理を行う。
【００７２】
また、触力覚提示装置１０は、Ｓ１０の処理において、次のアクチュエータＮ＋１がない場合（Ｓ１０において、ＮＯ）、触力覚提示処理を終了するか否かを判断し（Ｓ１２）、触力覚提示処理を終了しない場合（Ｓ１２において、ＮＯ）、Ｓ０１の処理に戻る。また、触力覚提示装置１０は、ユーザからの終了指示等に基づき、触力覚提示処理を終了する場合（Ｓ１２において、ＮＯ）、処理を終了する。
【００７３】
＜各種データ例＞
次に、上述した本実施形態における各種データ例について図を用いて説明する。図４は、形状点群データの一例を示す図である。図５は、硬さ分布データの一例を示す図である。形状点群データ及び硬さ分布データは、何れもオブジェクトデータ３０に含まれるデータであるが、オブジェクトデータ３０は、形状点群データ又は硬さ分布データのデータだけでもよい。形状点群データのみの場合、硬さデータは、オブジェクト表面のどの点も予め設定された固定値とすればよく、硬さ分布データのみの場合、硬さを設定する座標情報に基づいてオブジェクトの３次元形状を生成すればよい。
【００７４】
図４の例に示す形状点群データは、３次元空間（例えば、予め設定されたローカル座標系）の３要素（ｘ，ｙ，ｚ）毎に点の座標を記述する。図４の例では、オブジェクトの表面に対応するあるｚ軸平面（例えばｚ＝ａ）を基準としてｘ方向に５点、ｙ方向に３点の点群の座標が設定されている。
【００７５】
例えば、図４には、一行にＸ方向点数個の要素が記述されている。点群データのフォーマットは、データファイルの先頭にＸ方向点数とＹ方向点数を記述し、続いて、一行毎にＸ方向点数分の点の座標Ｐ（ｘ，ｙ，ｚ）を記述する。また、座標値は、図４に示すように括弧とカンマで分けられていてもよく、タブ及びスペース等で区切って表してもよい。
【００７６】
なお、図４の例では、５×３＝１５点の点群データの座標値が「（１０，１０，１０）、（１５，１０，１５）、・・・」として設定されているが、記載方法については、これに限定されるものではない。図４に示すような点群データは、オブジェクトの形状に対する各表面上の所定間隔毎の座標値を示している。
【００７７】
また、図５に示す硬さ分布データのフォーマットでは、データファイルの先頭に総点数（１０点）を示し、その後、一行毎に点の座標と、硬さ係数に相当するコンプライアンス（Ｃｏｎｐｌｉａｎｃｅ）値：Ｐｃ（＝ｘ，ｙ，ｚ，ｃ）が記述されている。
【００７８】
また、硬さ分布点群データのフォーマットは、硬さ分布点座標及びコンプライアンス値を、図５に示すような括弧とカンマで記述（例えば、（１０，１０，１０，０．５））するのではなく、例えばタブ及びスペースで区切って表す（例えば、１０  １０  １０  ０．５））ことができる。
【００７９】
なお、硬さ分布点座標は、上述した形状点群データに含まれる座標である。また、硬さデータは、形状点群データの全ての点群データに対して設定されていてもよく、図４及び図５に示すように、一部の点群データに対して設定されていてもよい。例えば、一部の点群データに硬さデータが設定されていない場合には、その周囲の座標に硬さデータで設定されていれば、その周囲の座標に設定された硬さデータと、その周囲の座標との距離との関係に基づいて補間することができる。
【００８０】
また、オブジェクトの表面の硬さ分布が一様である場合のデータの具体例としては、ＣＧのポリゴンデータがある。３次元オブジェクトを構成する３次元の点群の集合と、これらの点の組合せによる微小三角形（ポリゴン）の構成データ、及び表面の硬さのコンプライアンス値（Ｃｏｎｐｌｉａｎｃｅ値）で表すことができる。
【００８１】
また、図４及び図５のようなデータは、例えば硬さ分布が一様でない場合にも有効である。図４及び図５に示すように、３次元形状を構成する点群データと、硬さ分布データを与える点の座標値及びその座標値の硬さデータのコンプライアンス値として設定しておくことで、表面の硬さを調整し、いろいろな物体を仮想空間上で表現することができる。
【００８２】
本実施形態における物体表面の硬さ分布は、上述した図５に示すように予め設定されずに、例えば有限要素法によるシミュレーションモデルを用いて取得してもよい。有限要素法によるシミュレーションモデルとは、物体表面の硬さ分布を予め数値として設定するのではなく、予め設定された力が加わった際の物体の変形の挙動を決定する関数（方程式等）を用いて、外力の状況に応じてリアルタイムに形状をレンダリングする手法である。
【００８３】
＜表面の硬さの補間方法＞
ここで、上述したオブジェクトの表面の硬さの補間方法について、図を用いて説明する。図６は、硬さの補間方法について説明するための図である。
【００８４】
本実施形態では、図６（Ａ）に示すように、オブジェクト４０とユーザの指（のオブジェクトポインタ６０）との接触点６１に対して、接触点６１を基準として予め設定された硬さの補間範囲６２に基づいて、その補間範囲６２に含まれる硬さデータを有する各点（図６（Ｂ）の例では、４点）から硬さデータを補間する。
【００８５】
例えば、図６（Ｂ）の例では、接触点６１に対し、その周囲の点の硬さデータＣ１〜Ｃ４及び各点の座標値から得られる各点との点間距離ｄ１〜ｄ４を用いて図６（Ｂ）に示す式（１）及び式（２）に値を代入して計算することで、各点の硬さデータと点間距離（位置情報）とに基づく接触点６１の硬さデータ（Ｃｓｍｏｏｔｈ）を取得することができる。なお、数式については、これに限定されるものではない。また、補間方法についてもこれに限定されるものではなく、例えばある硬さデータを有する最も近い点の硬さデータを用いてもよく、予め設定された固定値を設定してもよい。
【００８６】
上述したように、本発明によれば、仮想的に物体を提示する際に、実物体に近い触感覚をより高精度に提示することができる。例えば、本実施形態では、上述したアクチュエータ機構等を用いることで、実際に物体に触った際に各指の皮膚が受ける力の分布とその分布に基づく各指の皮膚の変形とを仮想的に再現することができる。したがって、例えば物体のエッジ等の面の不連続な箇所、及び、面の角度や曲率等を触知することが容易となり、物体の輪郭や表面に沿った触察が可能となる。
【００８７】
また、本実施形態では、例えば仮想物体を対向する位置で押したときの圧力分布を算出すると共に、対向する位置を押したユーザの指又は手に対して、算出した圧力分布に基づく反力を与えることで、例えば非接地の仮想物体に対して多点に力覚提示することができる。したがって、本実施形態では、例えば対向する指で把持可能な物体に関して従来の接地型の提示装置以上の提示力を出すことが可能となる。
【００８８】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。
【符号の説明】
【００８９】
１０  触力覚提示装置
１１  圧力分布算出部
１２  表示部
１３  力覚提示制御部
２１  アクチュエータ制御部（駆動制御部）
２２  アクチュエータ（駆動部）
２３  ３次元位置センサ
２４  ３次元位置データ入力部
２５  圧力センサ
２６  ３次元圧力データ入力部
３０  オブジェクトデータ
３１，３３  アーム
３２  ポインタ（力覚提示部）
４０  オブジェクト
５１  拇指
５２  示指
６０  オブジェクトポインタ
６１  接触点
６２  補間範囲
【図１】
2015215795.tif 000003
【図２】
2015215795.tif 000004
【図３】
2015215795.tif 000005
【図４】
2015215795.tif 000006
【図５】
2015215795.tif 000007
【図６】
2015215795.tif 000008