(57)【要約】【課題】ユーザが知覚する仮想対象の奥行位置を精度よく推定することができる推定装置を提供する。【解決手段】ユーザが拡張現実環境に配された仮想対象に身体の部位又は器具を用いて仮想的に力を作用させる場合において、ユーザが知覚する仮想対象の奥行位置を推定する推定装置であって、前記ユーザが、前記仮想対象に対して前記部位又は器具を用いて仮想的に力を作用させるために動作させている場合に、当該動作の完了前の所定期間において、当該部位又は器具の位置、速度及び加速度のうちの少なくとも１つと時間とを計測する計測手段と、前記計測結果を所定の関数にあてはめることによって、前記部位又は器具の前記動作を表す関数を生成する生成手段と、前記生成された関数から前記部位又は器具の速度が前記作用の種類に応じて決定される値となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定する推定手段を有する。【選択図】図１
2011060234.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが三次元ディスプレイにより表示された仮想対象に身体の部位又は器具を用いて仮想的に力を作用させる場合において、ユーザが知覚する仮想対象の奥行位置を推定する推定装置であって、
前記ユーザが、前記仮想対象に対して前記部位又は器具を用いて仮想的に力を作用させるために動作させている場合に、当該動作の完了前の所定期間において、当該部位又は器具の複数の時刻における位置を計測する計測手段と、
前記計測結果をロジスティック関数にあてはめることによって、前記部位又は器具の前記動作を表す関数を生成する生成手段と、
前記生成された関数から前記部位又は器具の速度が０となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定する推定手段と、
前記ユーザに対して所定の触力覚刺激を与える触力覚提示デバイスと、
前記推定された前記ユーザが知覚する仮想対象の奥行位置において前記所定の触力覚刺激が前記ユーザに与えられるように、前記触力覚提示デバイスを制御する触力覚提示デバイス制御手段と、
を有する推定装置。
【請求項２】
ユーザが拡張現実環境に配された仮想対象に身体の部位又は器具を用いて仮想的に力を作用させる場合において、ユーザが知覚する仮想対象の奥行位置を推定する推定装置であって、
前記ユーザが、前記仮想対象に対して前記部位又は器具を用いて仮想的に力を作用させるために動作させている場合に、当該動作の完了前の所定期間において、当該部位又は器具の複数の時刻における位置、速度及び加速度のうちの少なくとも１つと時間とを計測する計測手段と、
前記計測結果を所定の関数にあてはめることによって、前記部位又は器具の前記動作を表す関数を生成する生成手段と、
前記生成された関数から前記部位又は器具の速度が前記作用の種類に応じて決定される値となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定する推定手段と、
を有する推定装置。
【請求項３】
前記所定の関数は、多項式関数、ロジスティック関数、又は、ガウス型関数である請求項２に記載の推定装置。
【請求項４】
前記推定手段は、
前記生成された関数から前記ユーザの身体の部位又は器具の速度が０となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定する請求項２に記載の推定装置。
【請求項５】
前記ユーザに対して所定の触力覚刺激を与える触力覚提示デバイスと、
前記推定された前記ユーザが知覚する仮想対象の奥行位置において前記所定の触力覚刺激が前記ユーザに与えられるように、前記触力覚提示デバイスを制御する触力覚提示デバイス制御手段を備える請求項２に記載の推定装置。
【請求項６】
ユーザが拡張現実環境に配された仮想対象に身体の部位又は器具を用いて仮想的に力を作用させる場合において、ユーザが知覚する仮想対象の奥行位置をコンピュータにおいて推定する推定方法であって、
前記ユーザが、前記仮想対象に対して前記部位又は器具を用いて仮想的に力を作用させるために動作させている場合に、当該動作の完了前の所定期間において、当該部位又は器具の複数の時刻における位置、速度及び加速度のうちの少なくとも１つを計測することと、
前記計測結果を所定の関数にあてはめることによって、前記部位又は器具の前記動作を表す関数を生成することと、
前記生成された関数から前記部位又は器具の速度が前記作用の種類に応じて決定される値となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定すること、
を有する推定方法。
【請求項７】
ユーザが拡張現実環境に配された仮想対象に身体の部位又は器具を用いて仮想的に力を作用させる場合において、ユーザが知覚する仮想対象の奥行位置を推定する推定方法であって、コンピュータに、
前記ユーザが、前記仮想対象に対して前記部位又は器具を用いて仮想的に力を作用させるために動作させている場合に、当該動作の完了前の所定期間において、当該部位又は器具の複数の時刻における位置、速度及び加速度のうちの少なくとも１つを計測することと、
前記計測結果を所定の関数にあてはめることによって、前記部位又は器具の前記動作を表す関数を生成することと、
前記生成された関数から前記部位又は器具の速度が前記作用の種類に応じて決定される値となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定すること、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、拡張現実環境に配された仮想対象の位置を推定する技術に関し、特に、ユーザが仮想対象を知覚している位置を推定する技術に関する。
【背景技術】
【０００２】
現実（real）と仮想（virtual）とを融合した拡張現実（Augmented Reality）に関する技術が知られている。拡張現実では、現実空間にコンピュータを用いて仮想対象を付加提示することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、拡張現実環境に配された仮想対象の計算上の奥行位置（ｚ方向の位置）は、例えば、３次元ディスプレイ等に表示される左右の目に対応する２枚の画像における仮想対象の視差量によって計算することができる。
【０００４】
一方、ユーザが知覚している仮想対象の奥行位置（以下、「視覚的知覚位置」という。）には個人差があり、かつ、個人内における差もある。例えば、同一条件下で同じ仮想対象を提示したとしても、ユーザ毎に知覚する奥行位置は異なるとともに、あるユーザが、ある時点ではある奥行位置を知覚したとしても、別の時点では別の奥行位置を知覚することもある。
【０００５】
従って、視差量によって計算される仮想対象の奥行位置と、ユーザの視覚的知覚位置とは、一致しない状況が起こり得るところ、例えば、触力覚刺激を与える位置がユーザの視覚的知覚位置とずれてしまうと、ユーザは、自分の手がまだ仮想対象に達していないと感じているにも関わらず触力覚刺激が与えられてしまったり、あるいは逆に、仮想対象に達したと感じているにも関わらず触力覚刺激が与えられなかったりするため、仮想対象に適切なフィードバックを与えることができない。
【０００６】
そこで、三次元ディスプレイによって表示された仮想対象に対するユーザの視覚的知覚位置を精度よく推定する必要がある。
【課題を解決するための手段】
【０００７】
ユーザが拡張現実環境に配された仮想対象に身体の部位又は器具を用いて仮想的に力を作用させる場合において、ユーザが知覚する仮想対象の奥行位置を推定する推定装置である。推定装置は、前記ユーザが、前記仮想対象に対して前記部位又は器具を用いて仮想的に力を作用させるために動作させている場合に、当該動作の完了前の所定期間において、当該部位又は器具の複数の時刻における位置、速度及び加速度のうちの少なくとも１つと時間とを計測する計測手段と、前記計測結果を所定の関数にあてはめることによって、前記部位又は器具の前記動作を表す関数を生成する生成手段と、前記生成された関数から前記部位又は器具の速度が前記作用の種類に応じて決定される値となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定する推定手段とを有する。
【０００８】
前記所定の関数は、多項式関数、ロジスティック関数、又は、ガウス型関数である。
【０００９】
前記推定手段は、前記生成された関数から前記部位又は器具の速度が０となる位置を計算し、当該計算された位置を前記ユーザが知覚する仮想対象の奥行位置として推定する。
【００１０】
前記ユーザに対して所定の触力覚刺激を与える触力覚提示デバイスと、前記推定された前記ユーザが知覚する仮想対象の奥行位置において前記所定の触力覚刺激が前記ユーザに与えられるように、前記触力覚提示デバイスを制御する触力覚提示デバイス制御手段を備える。
【００１１】
また、本開示の推定装置は、推定方法としても成立し、また、コンピュータに当該推定方法を実行させるためのプログラムとしても成立する。
【００１２】
本開示のプログラムは、光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
【００１３】
また、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。
【図面の簡単な説明】
【００１４】
【図１】システムの概略構成を示すブロック図である。
【図２】視覚的知覚位置の推定処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本開示の実施の形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。
【００１６】
［システムの構成］
図１は、本開示に係る視覚的知覚位置推定装置が適用されるシステムの概略構成を示すブロック図である。本システムは、拡張現実制御手段１０、拡張現実提示手段１１、触力覚提示デバイス１２、触力覚提示デバイス制御手段１３、位置計測手段１４、視覚的知覚位置推定手段１５などを有する。
【００１７】
拡張現実制御手段１０は、拡張現実を制御する機能を有し、例えば、ユーザの操作対象となる仮想オブジェクトを生成し、これを拡張現実提示手段１１によりユーザに提示させる機能を有する。拡張現実制御手段１０は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバスを有する専用又は汎用のコンピュータを適用することができ、例えば、ＣＰＵがＲＯＭ等に格納された所定の制御プログラムをＲＡＭにロードして実行することにより、仮想オブジェクトを生成する。仮想オブジェクトの生成は、従来技術を適用して実現することができ、その生成方法に特に限定はないが、例えば、遠隔地において撮像された実対象の撮像画像を、通信インタフェースを介して受信し、この受信した撮像画像に基づいて生成してもよい。
【００１８】
拡張現実提示手段１１は、偏光による両眼分離呈示によって拡張現実を提示する機能を有し、例えば、ユーザの操作対象となる仮想オブジェクトを提示する機能を有する。拡張現実提示手段１１には、一般的な三次元ディスプレイを適用することができ、その構成に特に限定はないが、例えば、ＣＲＴディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、ヘッドマウントディスプレイ（ＨＭＤ）などを採用することができる。
【００１９】
触力覚提示デバイス１２は、実物体がユーザの身体に与える触覚や圧力の感触を、触力覚刺激としてユーザに提示する機能を有し、例えば、ユーザの身体の特定部位（例えば、指や手）が実物体を押した際に皮膚に感じられる触覚や圧力などを提示する。触力覚提示デバイス１２には、人体に装着されるものと装着されないものとがあり、その構成に特に限定はないが、例えば、装着されるデバイスとして、ユーザの指の関節間や手首の関節近傍に輪状の部材を固定し、各部材にそれぞれワイヤーの一端を固定して、このワイヤーを巻き取ることにより指や手首の各関節に力を加えることによって、触力覚刺激を感じさせるものを適用することができる。また、例えば、装着されないデバイスとして、操作台などに固定され所定の操作部を有するペン形状の部材であって、反力フィードバック機能や３軸座標入力センサ機能を有するものなどを適用することもできる。
【００２０】
触力覚提示デバイス制御手段１３は、触力覚提示デバイス１２を制御する機能を有し、例えば、視覚的知覚位置推定手段１５によって推定されたユーザの視覚的知覚位置に、ユーザの身体の特定部位（例えば、指）が到達するときに、所定の触力覚刺激が与えられるように触力覚提示デバイス１２を制御する。
【００２１】
位置計測手段１４は、ユーザの身体の特定部位又は器具の三次元位置を計測する機能を有し、例えば、ユーザの指先の三次元位置の経時的変化を計測する機能を有する。位置計測手段１４は、その構成に特に限定はないが、例えば、三次元位置センサを適用することができる。三次元位置センサは、利用者の身体の特定部位又は器具に直接あるいは間接的に装着可能であり、例えば、利用者の指先に装着されている場合は、当該利用者の指先の三次元位置を所定のサンプリングレート（例えば、50Hz）で計測することができる。計測した三次元位置は、図示しない通信手段（有線、無線を問わない）を介して視覚的知覚位置推定手段１５へ送信される。また、位置計測手段１４には、ＣＣＤステレオカメラなどを適用することもできる。ユーザの身体の特定部位（例えば、指）に赤外線ＬＥＤを装着させ、赤外線透過フィルターをレンズにつけたＣＣＤステレオカメラによって、ユーザの身体の特定部位の動作を撮影し、撮影された画像に対して所定の演算を実行することにより、特定部位の三次元位置を計測することができる。
【００２２】
視覚的知覚位置推定手段１５は、ユーザの視覚的知覚位置を推定する機能を有する。ここで、ユーザの運動に関する研究によれば、ユーザが対象を扱うときの運動には普遍的な特徴がいくつかあるところ、例えば、ユーザが対象に手を伸ばすときの手先の軌道は概ね直線的であり、運動時間の関数としての手先の速度のプロファイルはベル型になる。（下記の文献に開示されている事項は、参照により本明細書に組み込まれる。P. Morasso, "Spatial control of arm movement," Experimental Brain Research, vol. 42, pp. 223-227, 1981.  C. G. Atkenson, and J. M. Hollerbach, "Kinematic features of unrestrained vertical arm movements," Journal of Neuroscience, vol. 5, no.9, pp. 2318-2330, September 1985.）そこで、本実施形態では、ユーザの身体の運動特性からユーザの視覚的知覚位置を推定する。例えば、ユーザの身体の運動の一例として、ユーザが仮想対象を掴もうとして手を伸ばす運動を採用する場合、このユーザの手の速度は、ユーザの手が仮想対象に到達する時点では０になると推定される。よって、本実施形態では、ユーザの動きを関数で表し、その関数を用いて速度が０となる位置をユーザの視覚的知覚位置として推定している。
【００２３】
具体的には、視覚的知覚位置推定手段１５は、関数生成手段１６、知覚位置計算手段１７、駆動信号生成手段１８を備え、例えば、ＣＰＵがＲＯＭ等に格納された所定のプログラムを実行することにより、これら機能実現手段として機能することができる。すなわち、視覚的知覚位置推定手段１５は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバスを有する専用又は汎用のコンピュータを適用することができ、単一のコンピュータより構成されるものであっても、ネットワーク上に分散した複数のコンピュータより構成されるものであってもよい。また、上述した拡張現実制御手段１０と同一コンピュータにより構成してもよい。
【００２４】
関数生成手段１６は、ユーザの視覚的知覚位置を推定するための関数を生成する機能を有する。上述のとおり、本実施形態では、ユーザの身体の運動特性からユーザの視覚的知覚位置を推定するものであるから、ユーザが仮想対象に対して身体の部位又は器具を用いて仮想的に力を作用させるために動作させている場合の当該動作を表す関数（運動特性を表す関数）を生成する。具体的には、ユーザが仮想対象に手の指を伸ばすなどして運動を開始すると、ユーザの手の指の運動の計測を開始し、計測結果に基づいてユーザの身体の運動特性を表す関数を生成することにより、ユーザの手が仮想対象と接触する前にユーザの視覚的知覚位置を推定する。
【００２５】
すなわち、関数生成手段１６は、視覚的知覚位置の推定処理に用いる関数を設定する関数設定機能と、当該設定された関数のパラメータを算出することにより関数を決定するパラメータ算出機能を有する。ここで、設定される関数は、ユーザの身体の特定部位の運動の特性を表す関数を近似することができるものであればよく、例えば、身体の特定部位の位置と時間、身体の特定部位の速度と時間、または身体の特定部位の速度と位置などの関係を表す関数を用いることができる。具体的には、その内容に特に限定はないが、高次の多項式関数（例：y=CnXn + Cn-1Xn-1+・・・C1x+C0）、ロジスティック関数、ガウス型関数、その導関数、あるいはこれらの関数を組み合わせた関数などが該当する。
【００２６】
本実施形態では、ユーザの身体の運動の一例として、ユーザが仮想対象に手を伸ばすときの運動を採用しているので、数式（１）に示されるようなロジスティック関数を設定することができる。
【数１】
2011060234.tif 000003
【００２７】
ｙは手先の奥行位置、ｘは運動時間、ｐ１、ｐ２及びｐ３はパラメータ（定数）である。ｙ及びｘの原点は、それぞれ、手先の運動を開始する位置及び時間とする。ｐ１、ｐ２及びｐ３は、両辺の対数を取ることにより、数式（１）をｌｏｇ（ｙ）とｘの線形関数に変換し、計測したユーザの身体の特定部位の位置と時間からｌｏｇ（ｙ）とｘのデータセットを求め、前記求めたデータセットに前記変換した線形関数を、例えば最小二乗法などの従来技術を用いて当てはめることで、算出することができる。
【００２８】
知覚位置計算手段１７は、関数生成手段１６によって生成された関数を用いて、ユーザの視覚的知覚位置を計算する機能を有する。具体的には、速度が０になる時間の位置を求めることによってユーザの視覚的知覚位置を計算することができる。
【００２９】
駆動信号生成手段１８は、知覚位置計算手段１７によって計算された視覚的知覚位置で触力覚提示デバイス１２を駆動するための駆動信号を生成し、生成した駆動信号を触力覚提示デバイス制御手段１３に送信する機能を有する。
【００３０】
［視覚的知覚位置推定処理］
次に、上記のように構成されるシステムの動作の概要について説明する。図２は、視覚的知覚位置推定処理の流れを示すフローチャートである。なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、処理内容に矛盾を生じない範囲で、１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、複数ステップに分けて記載されているものは、１ステップとして把握することができる。なお、下記のフローでは、ユーザの身体の運動の一例として、ユーザが仮想対象に手を伸ばすときの運動を例に説明する。
【００３１】
関数生成手段１６は、視覚的知覚位置の推定処理に用いる関数を設定する（Ｓ１０１）。一例として、上述の数式（１）に示されるようなロジスティック関数が設定されたものとする。
【００３２】
拡張現実提示手段１１としての三次元ディスプレイは、ユーザの操作対象となる仮想オブジェクトを表示する（Ｓ１０２）。
【００３３】
位置計測手段１４は、ユーザの運動が開始されたか否かを判定し（Ｓ１０３）、運動が開始されたことを検出すると（Ｓ１０３；ＹＥＳ）、ユーザの身体の特定部位の三次元位置と時間の計測を開始し、計測した三次元位置データ及び時間データを視覚的知覚位置推定手段１５へ送信する（Ｓ１０４）。具体的には、ユーザの指に装着された三次元位置センサが、仮想対象へのびるユーザの指の動きを検出し、指の三次元位置と時間を示す三次元位置データ及び時間データを計測する。一方、運動の開始を検出しない場合（Ｓ１０３；ＮＯ）、運動が開始されるまで待機する。
【００３４】
関数生成手段１６は、位置計測手段１４から送信される位置データ及び時間データを取得し（Ｓ１０４）、関数生成に用いる所定量の位置データ及び時間データを収集したか否かを判定する（Ｓ１０５）。所定量のデータを収集していない場合は（Ｓ１０５；ＮＯ）、データの収集を続行する一方、所定量のデータを収集した場合は（Ｓ１０５；ＹＥＳ）、収集した位置データ及び時間データをＳ１０１において設定された関数にあてはめることにより、当該関数のパラメータを求める（Ｓ１０６）。上述の数式（１）に示されるようなロジスティック関数の場合は、ｐ１、ｐ２及びｐ３が求められる。なお、関数生成のために収集するデータ量は、仕様に応じて適宜設定することができ、その内容に特に限定はないが、例えば、運動開始時間からユーザの指の仮想オブジェクトへの到達時間までに要する時間の略半分の時点までの間のデータを収集するようにすることができる。
【００３５】
知覚位置計算手段１７は、関数生成手段１６により生成された関数を用いて、ユーザの視覚的知覚位置を計算する（Ｓ１０７）。上述の数式（１）に示されるようなロジスティック関数の場合は、動作開始後に速度＝０となるときのｙの値はｐ３となるため、パラメータｐ３の値をユーザの視覚的知覚位置として特定することができる。
【００３６】
駆動信号生成手段１８は、算出された視覚的知覚位置に基づいて駆動信号を生成して触力覚提示デバイス制御手段１３に送信し、触力覚提示デバイス駆動手段は、受信した駆動信号に基づいて触力覚提示デバイス１２を制御する（Ｓ１０８）。これにより、ユーザの視覚的知覚位置において、所定の触力覚刺激がユーザに与えられる。
【００３７】
［その他の実施形態］
なお、本開示は、上記した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
【００３８】
例えば、上記実施形態では、視覚的知覚位置の推定処理を、触力覚提示デバイスにより触力覚刺激を与える構成に応用する場合について説明したが、ユーザが仮想対象に力を加える構成に応用することもできる。この場合、拡張現実制御手段が、推定された視覚的位置において仮想対象に力が加わるように制御すればよい。
【００３９】
また、上記実施形態では、ユーザの運動の一例として、ユーザが仮想対象を掴む場合の運動を採用し、ユーザの身体の位置と時間を用いて関数を生成して、ユーザの身体の速度が０になる位置を視覚的知覚位置として予測する場合について説明したが、例えば、ユーザの運動が仮想対象を打つ、蹴るなどの運動である場合は、三次元加速度センサ等によってユーザの身体の特定部位又は器具の加速度の経時的変化を計測し、計測されたユーザの身体の加速度と時間を用いて関数を生成し、加速度が極大値となる位置を視覚的知覚位置として予測することができる。
【００４０】
また、上記実施形態では、ユーザの身体の部位又は器具の一例として、ユーザの指や手を用いる場合について説明したが、指や手以外の部位を用いることもできる。また、ユーザの身体の部位の代わりに、ユーザの操作に応じて仮想対象に力を作用させる例えば３軸座標入力センサ機能を有するペン形状のデバイスなどを用いることもできる。
【符号の説明】
【００４１】
１０   拡張現実制御手段
１１   拡張現実提示手段
１２   触力覚提示デバイス
１３   触力覚提示デバイス制御手段
１４   位置計測手段
１５   視覚的知覚位置推定手段
１６   関数生成手段
１７   知覚位置計算手段
１８   駆動信号生成手段
【図１】
2011060234.tif 000004
【図２】
2011060234.tif 000005