(57)【要約】【課題】演算負荷の改善されたフィードバック生成方法を提供すること。【解決手段】本発明は、仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成方法である。フィードバック生成方法は、オブジェクトの少なくとも一部に複数の単位領域を設定し、単位領域の夫々に所定値を設定し、ユーザ作用があった場合に当該ユーザ作用の対象となっている対象単位領域を特定し、対象単位領域に対応する対応所定値を読み出し、対応所定値に基づいてフィードバック信号を生成し、フィードバック信号に基づいてユーザへフィードバックを行う。【選択図】図１
2019096207.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成方法であって
前記オブジェクトの少なくとも一部に複数の単位領域を設定するステップ、
前記単位領域の夫々に所定値を設定するステップ、
前記ユーザ作用があった場合に、当該ユーザ作用の対象となっている対象単位領域を特定するステップ、
前記対象単位領域に対応する対応所定値を読み出すステップ、
前記対応所定値に基づいてフィードバック信号を生成するステップ、
前記フィードバック信号に基づいてユーザへフィードバックするステップ
を含むフィードバック生成方法。
【請求項２】
請求項１に記載のフィードバック生成方法であって、
前記フィードバック信号は、触覚提示手段を介して、所定の触覚として前記ユーザにフィードバックされる、
フィードバック生成方法。
【請求項３】
請求項１又は請求項２に記載のフィードバック生成方法であって、
前記所定値は、あらかじめ算出された前記単位領域夫々における前記オブジェクトの表面までの距離である、
フィードバック生成方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載のフィードバック生成方法であって、
前記単位領域の夫々に複数の種類の前記所定値を設定するステップ、
当該所定値の夫々に基づく複数のフィードバック信号を生成して前記ユーザにフィードバックするステップ、を更に備える、
フィードバック生成方法。
【請求項５】
請求項１乃至請求項４のいずれかに記載のフィードバック生成方法であって、
前記単位領域は、ボクセルである、
フィードバック生成方法。
【請求項６】
請求項１乃至請求項５のいずれかに記載のフィードバック生成方法であって、
前記ユーザ作用は、前記ユーザの手の動きに連動した前記仮想空間内に表示される仮想の手によって、前記オブジェクトになされる作用であり、
前記対象単位領域は、前記仮想空間内における前記仮想の手の指先の位置である、
フィードバック生成方法。
【請求項７】
仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成装置であって
前記オブジェクトの少なくとも一部に複数の単位領域を設定する手段、
前記単位領域の夫々に所定値を設定する手段、
前記ユーザ作用があった場合に、当該ユーザ作用の対象となっている対象単位領域を特定する手段、
前記対象単位領域に対応する対応所定値を読み出す手段、
前記対応所定値に基づいてフィードバック信号を生成する手段、
前記フィードバック信号に基づいてユーザへフィードバックする手段、
を含むフィードバック生成装置。
【請求項８】
仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成プログラムであって
前記オブジェクトの少なくとも一部に複数の単位領域を設定する手段、
前記単位領域の夫々に所定値を設定する手段、
前記ユーザ作用があった場合に、当該ユーザ作用の対象となっている対象単位領域を特定する手段、
前記対象単位領域に対応する対応所定値を読み出す手段、
前記対応所定値に基づいてフィードバック信号を生成する手段、
前記フィードバック信号に基づいてユーザへフィードバックする手段、
を含むフィードバック生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィードバック生成方法、フィードバック生成装置及びフィードバック生成プログラムに関し、特に仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック技術に関する。
【背景技術】
【０００２】
ＶＲ（Ｖｅｒｔｕａｌ  Ｒｅａｌｉｔｙ）技術等によって生成された仮想空間内にオブジェクトを配置し、ユーザが当該オブジェクトを触った際に何らかの触覚をフィードバックする技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２６７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようなフィードバック技術の分野において、例えば、ユーザが仮想空間内に表示された仮想の手によって仮想オブジェクトをつかんだり、突いたりした場合、ユーザの手のめり込み量に応じた触覚（力）をフィードバックする。この場合、めり込み量はオブジェクトの表面から仮想の手（指先等）の位置までの距離を演算し、当該距離に応じた触覚を生成する。
【０００５】
しかしながら、このような方法では、仮想の手が動く度に距離を計算することが必要となり、コンピュータへの演算負荷が大きい。
【０００６】
そこで、本発明は、演算負荷の改善されたフィードバック生成技術を提供することを一つの目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば
仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成方法であって
前記オブジェクトの少なくとも一部に複数の単位領域を設定するステップ、
前記単位領域の夫々に所定値を設定するステップ、
前記ユーザ作用があった場合に、当該ユーザ作用の対象となっている対象単位領域を特定するステップ、
前記対象単位領域に対応する対応所定値を読み出すステップ、
前記対応所定値に基づいてフィードバック信号を生成するステップ、
前記フィードバック信号に基づいてユーザへフィードバックするステップ
を含むフィードバック生成方法が得られる。
【発明の効果】
【０００８】
本発明によれば、演算負荷の改善されたフィードバック生成方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態によるフィードバック生成システムの概要を示す図である。
【図２】従来のフィードバック生成方法の概念図である。
【図３】本発明のフィードバック生成システムを構成するハードウェアのブロック図である。
【図４】本発明のフィードバック生成システムの準備工程を示すフロー図である。
【図５】本発明のフィードバック生成システムの実施工程を示すフロー図である。
【図６】図４の準備工程を示す図である。
【図７】図４の準備工程によってボクセルが設定されたオブジェクトを示す図である。
【図８】図７のオブジェクトにユーザ作用がなされた際のイメージ図である。
【図９】図４の準備工程によってボクセルが設定されたオブジェクトを示す他の図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるフィードバック生成方法、フィードバック生成装置及びフィードバック生成プログラムは、以下のような構成を備える。
［項目１］
仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成方法であって
前記オブジェクトの少なくとも一部に複数の単位領域を設定するステップ、
前記単位領域の夫々に所定値を設定するステップ、
前記ユーザ作用があった場合に、当該ユーザ作用の対象となっている対象単位領域を特定するステップ、
前記対象単位領域に対応する対応所定値を読み出すステップ、
前記対応所定値に基づいてフィードバック信号を生成するステップ、
前記フィードバック信号に基づいてユーザへフィードバックするステップ
を含むフィードバック生成方法。
［項目２］
項目１に記載のフィードバック生成方法であって、
前記フィードバック信号は、触覚提示手段を介して、所定の触覚として前記ユーザにフィードバックされる、
フィードバック生成方法。
［項目３］
項目１又は項目２に記載のフィードバック生成方法であって、
前記所定値は、あらかじめ算出された前記単位領域夫々における前記オブジェクトの表面までの距離である、
フィードバック生成方法。
［項目４］
項目１乃至項目３のいずれかに記載のフィードバック生成方法であって、
前記単位領域の夫々に複数の種類の前記所定値を設定するステップ、
当該所定値の夫々に基づく複数のフィードバック信号を生成して前記ユーザにフィードバックするステップ、を更に備える、
フィードバック生成方法。
［項目５］
項目１乃至項目４のいずれかに記載のフィードバック生成方法であって、
前記単位領域は、ボクセルである、
フィードバック生成方法。
［項目６］
項目１乃至項目５のいずれかに記載のフィードバック生成方法であって、
前記ユーザ作用は、前記ユーザの手の動きに連動した前記仮想空間内に表示される仮想の手によって、前記オブジェクトになされる作用であり、
前記対象単位領域は、前記仮想空間内における前記仮想の手の指先の位置である、
フィードバック生成方法。
［項目７］
仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成装置であって
前記オブジェクトの少なくとも一部に複数の単位領域を設定する手段、
前記単位領域の夫々に所定値を設定する手段、
前記ユーザ作用があった場合に、当該ユーザ作用の対象となっている対象単位領域を特定する手段、
前記対象単位領域に対応する対応所定値を読み出す手段、
前記対応所定値に基づいてフィードバック信号を生成する手段、
前記フィードバック信号に基づいてユーザへフィードバックする手段、
を含むフィードバック生成装置。
［項目８］
仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバック生成プログラムであって
前記オブジェクトの少なくとも一部に複数の単位領域を設定する手段、
前記単位領域の夫々に所定値を設定する手段、
前記ユーザ作用があった場合に、当該ユーザ作用の対象となっている対象単位領域を特定する手段、
前記対象単位領域に対応する対応所定値を読み出す手段、
前記対応所定値に基づいてフィードバック信号を生成する手段、
前記フィードバック信号に基づいてユーザへフィードバックする手段、
を含むフィードバック生成プログラム。
【００１１】
＜実施の形態の詳細＞
以下、本発明の実施の形態によるフィードバック生成方法、フィードバック生成装置及びフィードバック生成プログラムについて、図面を参照しながら説明する。
【００１２】
＜概要＞
本発明の実施の形態によるフィードバック生成システムは、仮想空間内に配置されたオブジェクトに対するユーザ作用へのフィードバックを生成するためのものである。
【００１３】
本実施の形態によるフィードバック生成システムは、大きく２段階の工程に分けることができる。即ち、フィードバック生成システムは、オブジェクトにボクセルを設定する準備工程と、オブジェクトに対するユーザ作用があった場合に当該ユーザ作用に応じたフィードバックを行う実施工程とを含んでいる。
【００１４】
なお、本実施の形態によるフィードバック生成システムは、ＶＲ（Ｖｅｒｔｕａｌ  Ｒｅａｌｉｔｙ）技術、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ  ｒｅａｌｉｔｙ）、ＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ  Ｒｅａｌｉｔｙ）等の仮想空間内に配置されたオブジェクトへのユーザ作用を行う得る全ての技術に適用可能である。以下における説明は、ＶＲ技術に適用した例として説明する。
【００１５】
＜構成＞
図１に示されるように、フィードバック生成システム１００は、コンピュータ端末１２０と、ユーザの手指に装着する操作部１３０と、ヘッドマウント・ディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ：以下、ＨＭＤ）１１０とを含んでいる。
【００１６】
＜従来の技術＞
図２に示されるように、従来の技術では、仮想空間内におけるユーザによる操作可能な仮想の手がオブジェクトに接触した場合、当該オブジェクトに仮想的に触ったことによるフィードバックがなされる（図２（ａ））。この状態から図２（ｂ）に示されるようなユーザの仮想の指がオブジェクト内にめり込んだ場合、めり込み量であるｄを指先の位置とオブジェクト表面との位置座標に基づいて都度演算し、当該距離に応じた触覚提示をユーザに対して行う。
【００１７】
しかしながら、この方法では、指が動くたびに演算が必要となり、コンピュータ端末の計算量が増加することとなる。本発明による実施の形態はこのような知見に基づいたものである。
【００１８】
＜コンピュータ端末１２０＞
図３に示されるように、コンピュータ端末１２０は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
【００１９】
プロセッサ１０は、コンピュータ端末１２０全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
【００２０】
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、コンピュータ端末１２０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００２１】
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ２２に構築されていてもよい。
【００２２】
送受信部１３は、コンピュータ端末１２０をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）などの近距離通信インタフェースを備えていてもよい。
【００２３】
入出力部１４には、操作部１３０と、ＨＭＤ１１０とが接続されている。なお、必要に応じて、更にキーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器が接続されていてもよい。
【００２４】
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００２５】
＜ＨＭＤ１１０＞
ＨＭＤ１１０は、図示しないディスプレイおよびセンサを具備する。ディスプレイは、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイに表示される画面のみを観察することができる。そして、非透過型のＨＭＤ１１０を装着したユーザは、外界の視界を全て失うため、実行されるアプリケーションにより表示される仮想空間に完全に没入する表示態様となる。
【００２６】
ユーザは、例えば、図１に示されるように、仮想空間Ｖ内に自分の手の動きと連動して動く仮想の手ＨＲ、ＨＬを利用して、オブジェクトＯｂｊとインタラクションを行いまたは受けることができる。
【００２７】
ＨＭＤ１１０が具備するセンサは、ディスプレイ近辺に固定される。センサは、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の各種動きを検知することができる。特に角速度センサの場合には、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検知し、各軸回りの角度（傾き）の時間変化を決定することができる。
【００２８】
＜操作部１３０＞
図１をも参照すると、操作部１３０は、ユーザの手に装着可能なグローブ型を有しており、各指の動作量を制限可能な機構を有している。操作部１３０は、ユーザの指の動きを検知する動き検知部１４１と、コンピュータ端末１２０で生成した触覚信号をユーザの指に伝達する触覚提示部１４２とを含んでいる。
【００２９】
本実施の形態によるフィードバックは、例えば、触覚提示部１４２によって、ユーザの指の動き量を制限することにより、仮想空間上のオブジェクトＯｂｊに擬似的に触れるような形で提供される。フィードバックの方式は、ユーザの指に対して、振動、圧迫、静電気信号のような刺激を加えることにより行われる形態でも構わない。
【００３０】
＜処理の流れ＞
続いて、本実施の形態によるフィードバック生成システムの処理の流れを説明する。当該処理は、図４に示される準備工程と、図５に示される実施工程の２段階で構成されている。
【００３１】
図６は、準備工程をより詳細に示す図である。以下、理解を容易にするため、図４（ａ）に示されるようにオブジェクトｏｂｊの上面ｔｏｐを含む一部に着目して説明を行う。図４及び図６に示されるように、準備工程は、オブジェクトにボクセルを設定するステップ（図６（ｂ））、各ボクセルに最も近いオブジェクト表面からの距離ｄを設定するステップ（図６（ｃ））と、を含んでいる。
【００３２】
より詳しくは、図７に示されるように、オブジェクトに複数のボクセルＢｎ（Ｘ，Ｙ，ｄ）を設定する。ここで、Ｘ及びＹはボクセルの位置を示す情報（座標情報）であり、ｄは最も近いオブジェクト表面からの距離である。本実施の形態においては、いずれのボクセルの距離ｄもあらかじめ算出され、各ボクセルに格納されている。
【００３３】
図５を参照すると、実施工程は、仮想空間内におけるユーザの手の指の位置座標Ｐを特定するステップ、位置座標Ｐに対応するボクセル番号を特定するステップ、準備工程で予め格納した距離ｄを読み出すステップ、触覚信号を生成するステップを含んでいる。
【００３４】
より詳しくは、図８に示されるように、指ＦがオブジェクトのボクセルＢ１０に位置している。このとき、ボクセルＢ１０においては、オブジェクトの表面Ｓからの距離ｄが３である（距離ｄ＝３は、準備工程において格納されたものである。）。コンピュータ端末には距離３という情報に基づくフィードバック信号を送信する。コンピュータ端末は、当該情報に基づいて触覚提示部１４２を介してユーザにフィードバックを行う。
【００３５】
以上説明したように、本実施の形態においては、オブジェクト表面からの距離を予め計算してから各ボクセルに格納する。従ってユーザへのフィードバック計算負荷を大幅に改善することが可能となる。
【００３６】
なお、例えば図９に示されるいびつな形のオブジェクトであっても、ボクセルに格納する情報（距離）の考え方は同様である。即ち、ボクセルＢａは、最短のオブジェクト表面までの距離ｄ１を格納することとなり、例えば距離ｄ２は格納しない。
【００３７】
また、上述した実施の形態におけるボクセルは距離のみを格納することとしていたが、格納する値は他の値（例えば、熱や力の大きさ等、ユーザに提示できる情報としてあらかじめ又は事後的に演算された値）であってもよいし、これら複数種類の値が格納されていてもよい。
【００３８】
また、上述した実施の形態におけるコンピュータ端末は物理的にHMDや操作部に接続されていることとしたが、各要素を接続する形態はこれに限られるものではない。無線ネットワークによって接続されている形態でもよいし、コンピュータ端末がHMDや操作部に内包される形態でもよい。または演算処理をクラウドコンピューティングに実施させる形態でもよい。
【００３９】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【００４０】
１００        フィードバック生成システム
１１０        ＨＭＤ
１２０        コンピュータ端末
１３０        操作部
【図１】
2019096207.tif 000003
【図２】
2019096207.tif 000004
【図３】
2019096207.tif 000005
【図４】
2019096207.tif 000006
【図５】
2019096207.tif 000007
【図６】
2019096207.tif 000008
【図７】
2019096207.tif 000009
【図８】
2019096207.tif 000010
【図９】
2019096207.tif 000011