(57)【要約】【課題】  情報処理システム、力覚発生装置およびプログラムを提供すること。【解決手段】  情報処理システム１００は、撮像装置を備えるヘッドマウント・ディスプレイ（ＨＭＤ）１１１と、ＨＭＤ１１１が撮影した映像に対してＣＧ画像を合成し、ＨＭＤ１１に投影する情報処理装置１０４と、ユーザが手に装着可能であって、ユーザの指先に平面により圧力を加えることによって前記ＣＧ画像に触れた力覚を生じさせる力覚発生モジュール１０６とを含んでいる。【選択図】図１
2018045371.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を備えるヘッドマウント・ディスプレイ（ＨＭＤ）と、
前記ＨＭＤが撮影した映像に対してＣＧ画像を合成し、前記ＨＭＤに投影する情報処理装置と、
ユーザが手に装着可能であって、ユーザの指先に平面により圧力を加えることによって前記ＣＧ画像に触れた力覚を生じさせる力覚発生手段と
を含む、情報処理システム。
【請求項２】
前記力覚発生手段は、
ユーザの指先部分に配置される上側プレートおよび下側プレートと、
前記上側プレートと前記下側プレートとの間に配置された圧縮可能なコイルと、
前記下側プレートに固定されて前記コイルを通して前記上側プレートの通孔を通して延びた前記下側プレートの４隅を独立して動作させる牽引部材と、
前記牽引部材に連結された駆動モータと
を含む、請求項１に記載の情報処理システム。
【請求項３】
前記駆動モータは、前記映像中の前記力覚発生手段の指先部分の位置と、合成した前記ＣＧ画像の表面との相対位置を前記映像に基づいて計算する手段を含み、前記相対位置に基づいて前記上側プレートと、前記下側プレートとの間隔を、前記下側プレートの４隅を独立して制御することでユーザの指先端部を平面的に加圧し、前記力覚を発生させる、請求項１または２に記載の情報処理システム。
【請求項４】
ユーザに対してＣＧ画像に触れた力覚を発生させる力覚発生装置であって、
ユーザの指先部分に配置される上側プレートおよび下側プレートと、
前記上側プレートと前記下側プレートとの間に配置された圧縮可能なコイルと、
前記下側プレートに固定されて前記コイルを通して前記上側プレートの通孔を通して延びた牽引部材と、
前記牽引部材に連結された駆動モータと
を含み、
ヘッドマウント・ディスプレイ（ＨＭＤ）が取得した映像の力覚発生手段の指先部分の位置と、前記映像に合成された前記ＣＧ画像の表面との相対位置を前記映像に基づいて取得し、前記上側プレートと、前記下側プレートとの間隔を、前記下側プレートの４隅を独立して制御することでユーザの指先端部を平面的に加圧し、前記力覚を発生させる、力覚発生装置。
【請求項５】
情報処理装置を、
ヘッドマウント・ディスプレイ（ＨＭＤ）が取得した映像を解析する手段、
前記映像に合成するＣＧ画像を作成するＣＧ作成手段、
前記映像に対して前記ＣＧを既知の位置に合成する手段、
前記映像中に存在する、ユーザの指先に平面により圧力を加えることによって前記ＣＧ画像に触れた力覚を生じさせる力覚発生手段と前記ＣＧ画像の表面との間の相対位置を計算する手段、
前記相対位置から前記力覚発生手段が発生する力覚を与えるための圧生成デバイスの間隔を計算する手段
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、力覚を再現する技術に関し、より詳細には、力情報処理システム、力覚発生装置およびプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータ・グラフィックス（以下、ＣＧとして参照する。）の技術が改善され、いわゆる仮想現実といわれる映像を、ユーザに提供することが可能となっている。仮想現実は、近年では、映画、ゲームその他エンターテイメントの分野で多用されるようになっている。しかしながら、実物が存在しない環境や、実物に触ることができない環境において、あたかも実物に触れたような感覚を発生させることは、多くの分野で有用である。
【０００３】
このようなデバイスとして、例えば、指に力覚を呈示することができるウェアラブル型ハプティックデバイスの「Ｄｅｘｍｏ(デクスモ)」（http:／／www.dextarobotics.com／：日特許文献１）が知られている。「Ｄｅｘｍｏ」は、指装着型のハプティックデバイスであり、指それぞれに力覚を発生させることができる。
【０００４】
しかしながら、Ｄｅｘｍｏは、（１）指先に装着するリングの部分を引っ張ることで力覚を呈示するため、力覚の呈示方向が一方向になってしまい、物体の表面に応じた力覚の呈示ができない、（２）人間の自然な接触行動のように触った瞬間に物体の形状を把握するという反応性に乏しいという問題点があった。
【０００５】
また、特開２００４−２９９９９号公報（特許文献１）には、指サックに対して空気圧アクチュエータにより空気を出し入れすることにより、触覚を生成する力触覚ディスプレイハンドおよびその製造方法が記載されている。しかしながら、特許文献１に記載のものは、指全体に力を加えることになり、現実に近い触覚を提供するものではない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】http:／／www.dextarobotics.com／（平成２８年８月２９日付ダウンロード）
【特許文献】
【０００７】
【特許文献１】特開２００４−２９９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、従来技術の問題点に鑑みてなされたものであり、複数の指それぞれに独立して力覚を生成し、より現実感のある情報処理システム、力覚発生装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の力覚を再現するための装置は、複数の指に対して独立して力覚の生成方向を変えることができれば、より現実に近い物体の形状把握を行うことが可能となることに着目し、本発明では、力覚を生成させるために接平面を用い、接平面の傾きを制御することで力覚の生成方向を変化させるものである。
【００１０】
すなわち、本発明によれば、
撮像装置を備えるヘッドマウント・ディスプレイ（ＨＭＤ）と、
前記ＨＭＤが撮影した映像に対してＣＧ画像を合成し、前記ＨＭＤに投影する情報処理装置と、
ユーザが手に装着可能であって、ユーザの指先に平面により圧力を加えることによって前記ＣＧ画像に触れた力覚を生じさせる力覚発生手段と
を含む、情報処理システムが提供される。
【発明の効果】
【００１１】
本発明によれば、より現実に近い物体の形状把握を行うことが可能な、力覚を再現するための装置、情報処理システムおよびプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の情報処理システム１００の概略図。
【図２】本実施形態の力覚発生モジュール１０６の詳細構成を示す図。
【図３】本実施形態の力覚発生モジュール１０６の圧生成デバイス１１０による力覚発生の実施形態３００を説明する概略図。
【図４】本実施形態のＰＣ１０４のハードウェア・ブロック４００を示す図。
【図５】本実施形態のＰＣ１０４の機能ブロック５００を示す図。
【図６】本実施形態のＰＣ１０４が実行する処理のフローチャート。
【図７】図６に続く本実施形態のＰＣ１０４が実行する処理のフローチャートを。
【図８】本実施形態においてユーザが装着するＨＭＤ１１１のスクリーンに投影される映像のスナップショット８００を示す図。
【図９】本実施形態によりＨＭＤ１１１のスクリーンに投影される映像のスナップショット９００を示す図。
【図１０】本実施形態の第２の実施形態における情報処理システム１０００の概略図。
【図１１】第２の実施形態の情報処理システム１０００が実行する処理のフローチャート。
【発明を実施するための形態】
【００１３】
図１は、本実施形態の情報処理システム１００の概略図である。本実施形態の情報処理システム１００は、パーソナル・コンピュータ（以下、ＰＣと略する。）１０４と、撮像装置１０３を搭載し、撮像装置１０３が撮影した映像を表示するヘッドマウント・ディスプレイ（以下、ＨＭＤ）１１０と、いわゆるハプティックデバイスとして参照され、ユーザが手に装着する力覚発生モジュール（力覚発生手段）１０６とを含んでいる。
【００１４】
撮像装置１０３は、ユーザを含む画像を撮影し、撮影した画像を、ＰＣ１０４に送付する。ＰＣ１０４は、撮像装置１０３が撮影した映像を解析して、力覚発生モジュール１０６の指先部分の画像上の位置を決定する。さらに本実施形態では、ＰＣ１０４は、ＣＧ（コンピュータ・グラフィックス）を生成し、撮像装置１０３が撮影した映像に仮想物体を表すＣＧを合成する処理を実行する。
【００１５】
ＣＧを合成する際には、撮影された現実空間の位置を参照するために、撮像装置１０３が撮影する映像に、位置決めマーカを含ませておくことができる。さらに精度を向上させるために、力覚発生モジュール１０６の指先部分にも位置決めマーカを付しておくことができる。
【００１６】
撮像装置１０３が撮影した映像または映像にＣＤを合成した映像は、例えばＷｉｆｉ、ＩＥＥＥ８０２．１１ｘといった無線通信、またはイーサネット（登録商標）といった有線ネットワークを介してユーザ１０１が装着したＨＭＤ１１１に送付される。ユーザ１０１のＨＭＤ１１１には、撮像装置１０３が撮影した映像または撮像装置１０３が撮影した映像にＣＧ画像１０７が合成された映像が投影され、ユーザは、あたかもＣＧ画像１０７で示される物体が存在しているかのように認識する。
【００１７】
ユーザ１０１は、手に力覚発生モジュール１０６を装着している。力覚発生モジュール１０６は、例えば手袋、グローブなどの撮像装置１０３により撮影され、ＰＣ１０４において、ＣＧ画像の表面に相当する位置との間の距離が計算される。そしてＰＣ１０４は、力覚発生モジュール１０６の指先部分と、合成したＣＧ画像１０７の合成位置との距離に応じて指先部分に取り付けた圧生成デバイス１１０を動作させるための駆動モータを動作させることで、ユーザ１０１の指先に対して圧力を加える。このため、本実施形態の情報処理システム１００は、ユーザ１０１がＣＧ画像１０７にあたかも触れたような感触を生じさせることができる。
【００１８】
図２は、本実施形態の力覚発生モジュール１０６の詳細構成を示す図である。図２（ａ）は、力覚発生モジュール１０６の全体を示し、図２（ｂ）は、指先部分の拡大図を示す。ユーザは、圧生成デバイス１１０が指先部分に取り付けられた力覚発生モジュール１０６を手に装着する。力覚発生モジュール１０６は、グローブといった装着部材１０２と、圧生成デバイス１１０と、圧生成デバイス１１０を動作させるための駆動モータ１０９と、駆動モータ１０９を動作させるためのモータ・ドライバ１０８ａ、１０８ｂを含んでいる。
【００１９】
なお、図２に示す実施形態では。モータ・ドライバは、モータ・ドライバ１０８ａ、１０８ｂの２つしか示していないが、モータ・ドライバは搭載する圧発生デバイスの数に対応して最大５個まで増やすことができる。
【００２０】
圧生成デバイス１１０は、駆動モータ１０９を介して圧生成デバイス１１０に装着されたワイヤ１１２により駆動されている、また駆動モータ１０９は、それぞれに配置されるモータ・ドライバ１０８ａ、１０８ｂなどにより動作されている。圧生成デバイス１１０は、装着部材１０２の先端部にユーザの指を挟むようにして配置されていて、ワイヤ１１２が駆動モータ１０９により引っ張られると、圧を生成し、ワイヤ１１２が弛緩すると、圧力が消滅するようにされている。
【００２１】
力覚発生モジュール１０６のサークルで囲んだ指先部分を拡大したものが図２（ｂ）である。力覚発生モジュール１０６の指先部分は、ユーザの指先を被覆するように延びていてもよいが、指先部分を切り落とし、ユーザの指が直接圧生成デバイス１１０に接する構成とすることもできる。図２（ｂ）の実施形態では、装着部材１０２の先端部を切り取って、指先２０１に直接圧生成デバイス１１０が接触する構成を例示的に説明する。
【００２２】
圧生成デバイス１１０は、それぞれ平面を含み、上側プレート１１０ａと、下側プレート１１０ｂと、上側プレート１１０ａの通孔を通して下側プレート１１０ｂに固定されたワイヤ１１２とを含んでいる。上側プレート１１０ａと、下側プレート１１０ｂとの間には、コイル１１０ｃが挿入されていて、コイル１１０ｃの内側を、ワイヤ１１２が挿通されている。
【００２３】
ワイヤ１１２が緩められるとコイル１１０ｃの弾発力で上側プレート１１０ａと下側プレート１１０ｂとが離間して、指先に対する力覚を消滅させる。一方、ワイヤ１１２が緊張すると、上側プレート１１０ａと、下側プレート１１０ｂとが指先に対して圧力を加え、これがユーザに力覚として認識される。
【００２４】
上側プレート１１０ａの後端部には、指先に上側プレート１１０ａを固定するための１１０ｄが取り付けられていて、上側プレート１１０ａの一が変動しないように固定している。一方、下側プレート１１０ｂは、コイル１１０ｃを介して変位自在に保持されていて、４隅を独立して動作させることで、指先に対してＣＧ画像の表面の角度、位置およびテクスチャの感覚を生成させることを可能としている。
【００２５】
図３は、本実施形態の力覚発生モジュール１０６の圧生成デバイス１１０による力覚発生の実施形態３００を説明する概略図である。図３（ａ）が、力覚を生成していない状態での下側プレート１１０ｂの配置であり、図３（ｂ）が、力覚を発生させている場合の下側プレート１１０ｂの配置である。
【００２６】
図３（ａ）に示すように、力覚を生成しない状態は、ワイヤ１１２が弛緩され、その結果コイル１１０ｃにより下側プレート１１０ｂが指先２０１から離間した状態とされている。なお、指の腹からの離間距離は、コイル１１０ｃの長さで規定される。
【００２７】
図３（ｂ）は、力覚発生モジュール１０６が力覚を発生させている状態での配置を示す。下側プレート１１０ｂは、ＣＧ画像１０７の表面の法線Ａの方向に対して垂直になるように、駆動モータ１０９およびコイル１１０ｃにより位置決めされている。また、その配置において下側プレート１１０ｂの４隅に連結されたワイヤ１１２に緊張度を高めることによりコイル１１０ｃの弾発力に抗して下側プレート１１０ｂが、法線Ａの方向に下側プレート１１０ｂの指に対する角度を保持したまま移動される。この結果、指先に圧力が加えられ、ユーザにおいてはそれが力覚として認識される。
【００２８】
下側プレート１１０ｂにより加えられる圧力は、適正な力覚を生成させるために、予め力覚−下側プレート変位量の対応を、実験的に取得しておき、ＰＣ１０４の制御データとして、例えばルックアップテーブルとしてＮＶＲＡＭなどに格納させておくことができる。図３に示すようにプレート形状の圧生成デバイス１１０を使用することにより、指先の広い範囲にわたって圧を生成することが可能となり、従来技術に比較してより繊細な力覚の生成が可能とされる。
【００２９】
なお、下側プレート１１０ｂの形状は、平面形状とすることができるが、人間工学的または力覚を生成するための対象の形状が同様であれば、当該対象の表面形状に対応付けて変更することができる。
【００３０】
図４は、本実施形態のＰＣ１０４のハードウェア・ブロック４００を示す。図１に示すＰＣ１０４は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３およびＮＶＲＡＭ４０４を含んでいる。
【００３１】
ＣＰＵ４０１は、本実施形態ではマルチコア・プロセッサであり、ＣＰＵコアごとに独立したオペレーティング・システムの下、複数のプログラムを並列実行する。ＲＡＭ４０２は、オペレーティング・システム（ＯＳ）といったプログラムを読み込んで、ＣＰＵ４０１が各種プログラムを実行するために必要な実行空間を提供する。その他、ＲＡＭ４０２は、ＣＰＵ４０１がプログラムを実行するためのデータなどを格納する実行時記憶空間を提供することができる。
【００３２】
ＲＯＭ４０３は、ＢＩＯＳ（Basic Input Output System)、ブートストラップ（Bootstrap）プログラム、その他、ＣＰＵ４０１が機能を提供するためのプログラムを記憶しており、ＣＰＵ４０１の起動時および本実施形態に従い、ＣＰＵコアのエラーやストール時にＣＰＵ４０１がプログラムを読み込んで、ハードウェアの初期設定、ＯＳ起動などの機能を実現可能としている。以上のハードウェア・ブロックは、システムバス４０６により相互接続されていて、システムクロックに従ってその動作が制御されている。
【００３３】
ＰＣ１０４は、さらにＮＶＲＡＭ４０４および通信装置４０５を含んでいる。ＮＶＲＡＭ４０４は、例えばＰＣ１０４のＣＰＵ４０１がエラーやストールしたときに再起動される場合、再起動直前のＣＰＵデータ、例えば、各種データ、プログラムカウンタ、レジスタ構成などを格納する機能を提供することができる。
【００３４】
またＰＣ１０４が備える通信装置４０５は、例えばＮＩＣ（ネットワーク・インタフェース・カード）を含んで実装することができ、イーサネット（登録商標）、ＩＥＥＥ８０２．ｘ、ＬＴＥ、Ｗｉｆｉその他の通信基盤を使用してＰＣ１０４を、例えばインターネットなどの他のシステムに接続することを可能とする。
【００３５】
さらにＰＣ１０４は、ＰＣＩｅといった周辺バスを介して接続された表示装置４０９、記憶装置４１０および入力装置４１１を含んで構成することができる。表示装置４０９は、液晶ディスプレイ装置、タッチパネルその他のユーザインタフェースを提供する機能を、ＶＧＡ、ＸＧＡ、ＨＤＭＩ（登録商標）といった規格を使用して提供する。
【００３６】
記憶装置４１０は、ハードディスク・ドライブやＳＳＤを含んで構成することができ、例えばＡＴＡ、ＳＡＴＡ、ＵＳＢなどの通信プロトコルを使用して、記憶装置４１０が記憶したＯＳ、ドライバ、アプリケーションの実行ファイルを、ＣＰＵ４０１が高速に利用するためにＣＰＵ４０１による読み出しを可能とする。
【００３７】
入力装置４１１は、キーボード、マウス、ジョイスティックを使用することができ、ＰＣ１０４に対して外部から情報や指令を入力するために使用される。なお、タップやスワイプなどを可能とするタッチパネルは、表示装置４０９および入力装置１１１の機能を両方具備する機能手段である。
【００３８】
本実施形態で使用するＣＰＵ４０１は、マルチコア・プロセッサとすることができ、例えば、ＰＥＮＴＩＵＭ（登録商標）ＤＵＡＬ  ＣＯＲＥ(登録商標）、ＣＯＲＥ２  ＤＵＯ（登録商標）、ＣＯＲＥ２  ＱＵＡＤ（登録商標）、ＣＥＬＥＲＯＮ（登録商標）  ＤＵＡＬ  ＣＯＲＥ、ＡＴＯＭ(登録商標）、ＣＯＲＥ２ＤＵＯ（登録商標）、ＣＯＲＥ２ＱＵＡＤ（登録商標）、ＣＯＲＥｉ（登録商標）シリーズなどの他、ＸＥＯＮ(登録商標）、マルチコア構成を備えるＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＰＯＷＥＲ  ＰＣ（登録商標）などを挙げることができるがこれらに限定されるものではない。
【００３９】
使用するオペレーティング・システム（ＯＳ）としては、ＷｉｎｄｏｗｓＳｅｒｖｅｒ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＯＰＥＮＢＳＤ、ＣｅｎｔＯＳ、Ｕｂｎｔｕ、ｅＴ−Ｋｅｒｎｅｌを挙げることができるが、それ以外の適切なＯＳも使用することができる。
【００４０】
さらに、ＣＰＵ４０１は、上述したＯＳ上で動作する、アセンブラ言語、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ  Ｃ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、Ｒｕｂｙ、Ｐｙｔｈｏｎなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行することができる。
【００４１】
図５は、本実施形態のＰＣ１０４の機能ブロック５００を示す。ＰＣ１０４は、通信インタフェース５０１と、画像解析部５０２と、ＣＧ作成部５０５とを含んで構成することができる。通信インタフェース５０１は、Ｗｉｆｉ、ＩＥＥＥ８０２．１１ｘといった無線通信を可能とするインタフェースの他、イーサネット（登録商標）を使用する有線ネットワークを可能とする機能を提供する。また画像解析部５０２は、取得した映像を解析し、ユーザの手の位置、すなわち力覚発生モジュール１０６の位置を解析し、生成したＣＧ画像との間の距離計算を可能とさせている。
【００４２】
ＣＧ作成部５０５は、映像中に配置するべきＣＧを作成する機能を提供する、作成するべきＣＧ画像は、例えば球、サイン曲面、リンゴ、ナシ、その他映像として表示するべき対象であれば、現実のものでも非現実の対象でも構わない。ＣＧ作成部５０５は、作成したＣＧを映像中に配置するべき位置を決定し、ＨＭＤ１１１の指定した位置にＣＧ画像を表示させる。
【００４３】
ＰＣ１０４は、さらに、ＣＧ合成部５０３と、相対位置計算部５０６と、圧生成デバイス位置計算部５０４とを含むことができる。ＣＧ合成部５０３は、ＣＧ作成部５０５が作成したＣＧ画像を、映像中に合成する処理を行い、ユーザが装着するＨＭＤ１１１中の所定の位置にＣＧ画像を表示させる。
【００４４】
この際、ＣＧ合成部５０３は、映像中に存在する位置決めマーカを参照し、当該位置決めマーカを基準として映像中の位置を計算し、合成することができる。なお、本実施形態において、遠隔した映像中に力覚を生成したい対象物が映り込んでいる場合には、ＣＧ作成部５０５およびＣＧ合成部５０３は、機能しなくともよい。
【００４５】
相対位置計算部５０６は、ＣＧ画像と、指との間の相対的距離を計算する機能部であり、ＣＧ画像の表面に指が接触したことを判定する機能も提供する。相対位置計算部５０６が、ＣＧ画像、または他の実施形態では、対象映像の表面に指が接触したと判断した場合、圧生成デバイス位置計算部５０４に相対位置を通知し、相対位置に対応した圧を生成するように指令する。
【００４６】
なお、相対位置計算部５０６は、他の実施形態では、対象物体に対するロボットアームの相対位置を計算し、機械系出力インタフェース５０７または通信インタフェースを介して遠隔的に相対位置データを送付することで、映像に基づいたロボット制御の機能も提供する。
【００４７】
圧生成デバイス位置計算部５０４は、相対位置計算部５０６の計算結果および予め取得しておいた力覚−下側プレート変位量のルックアップテーブルを使用して、下側プレート１１０ｂの角度、法線方向の変位量を決定する。圧生成デバイス位置計算部５０４は、決定した変位量に対応する制御データを生成し、制御データを、機械系出力インタフェース５０７を介してモータ・ドライバ１０８ａ、１０８ｂを制御し、駆動モータ１０９を動作させて、圧力の生成および開放を可能とさせている。
【００４８】
図６は、本実施形態のＰＣ１０４が実行する処理のフローチャートを示す。図６の処理は、ステップＳ６００から開始し、ステップＳ６０１でシステムが起動される。ステップＳ６０２では、力覚発生モジュール１０６および撮像装置１０３からの信号を受領して制御が開始される。ステップＳ６０３では、情報処理システム１００の初期化を行う。情報処理システム１００の初期化は、圧力を開放する最小位置の決定、最大圧力生成位置の決定などを含むことができるがこれらの初期化処理に限定されるものではない。
【００４９】
ステップＳ６０４では、ＣＧオブジェクトを生成して、映像に合成し、ユーザが装着したＨＭＤ１１１に映像信号として送付する。ステップＳ６０５では、ユーザの運動を撮像装置１０３で撮影し、そのデータをＨＭＤ１１１から受信し、ユーザの位置を解析する。なお、ＣＧ画像も移動させることができ、この場合、その時点で表示させているＣＧ画像の位置情報を相対位置を計算するために使用することができる。
【００５０】
ステップＳ６０５では映像から指先の位置を計算し、ステップＳ６０６では、ＣＧ画像の表面位置と、指先の位置との相対距離を計算する。なお、相対距離の計算方法は、種々想定でき、球の場合には中心と半径とから球表面の位置を計算し、別に計算した指先の位置との間の相対的位置を計算することができる。ステップＳ６０７では、ステップＳ６０６の計算で指先の位置がＣＧ表面位置に一致したか否かを判断し、一致していない場合（ｎｏ）、処理をステップＳ６０５に戻し処理を反復する。
【００５１】
ステップＳ６０７の判断で、指先の位置がＣＧ表面に一致していると判断された場合（ｙｅｓ）、ステップＳ６０８でＣＧの表面に対する指先のロール角およびピッチ角を計算する。ステップＳ６０９では、接触点における法線ベクトルを計算し、ステップＳ６１０で接平面のＣＧ表面に対する傾きを計算する。
【００５２】
図６の処理は、ポイントＡから図７の処理に遷移する。図７の処理は、ポイントＡで図６の処理を渡されて開始し、ステップＳ７００で接平面の傾きと指先のロール角、ピッチ角の差を計算し、当該角度で下側プレートを移動させるためのワイヤ移動量を計算する。この際、下側プレート１１０ｂの角度は、その時点でＣＧ表面に接している指先に対して垂直に圧力が加えられるように制御する。ステップＳ７０１では、ステップＳ７００で計算したワイヤ移動量を与えるためのモータ回転角を計算し、ステップＳ７０２でモータ回転角を生成するように制御データを生成し、モータ・ドライバに送付する。
【００５３】
その後、ステップＳ７０３でモータ・ドライバによりモータを駆動させ、指先に下側プレート１１０ｂを当接させてゆき、ステップＳ７０４で設定した範囲の力覚を生成させる。その後、ステップＳ７０５で以後の映像があるか否かを判断し、以後の映像がある場合、（ｙｅｓ）処理をポイントＢから図６のポイントＢに渡し、力覚生成処理を反復する。
【００５４】
一方、ステップＳ７０５で、以後の映像が無い場合（ｎｏ）、ステップＳ７０６で処理を終了させる。なお、以後の映像が無い場合とは、ユーザが処理を中断させた場合を挙げることができる。
【００５５】
図８は、本実施形態においてユーザが装着するＨＭＤ１１１のスクリーンに投影される映像のスナップショット８００を示す。図８に示すＣＧ画像は、下記式（１）で与えられるサイン−コサイン曲面である。
【００５６】
【数１】
2018045371.tif 000003
【００５７】
なお、図８のスナップショットには、ＣＧ画像８１０を配置するために使用する位置決めマーカ８２０も存在している。ユーザは、図８に示されたＣＧ画像８１０の方に力覚発生モジュール１０６を装着した手を移動させてゆくと手の映像が映し出され、映像中での指の位置からＣＧ画像表面までの相対距離が計算され、力覚を生成するように制御する。
【００５８】
図９は、本実施形態によりＨＭＤ１１１のスクリーンに投影される映像のスナップショット９００を示す。図９に示す実施形態ではＣＧ画像９１０は、球とされており、ユーザが力覚発生モジュール１０６を装着した手を移動させてゆき、映像津宙に力覚発生モジュール１０６が出現した時点で、ＣＧ表面との距離計算が行われることになる。
【００５９】
図１０は、本実施形態の第２の実施形態における情報処理システム１０００の概略図である。図１０に示した情報処理システム１０００は、ユーザ・サイト１０１０と、作業サイト１０２０との間で、ロボット１０２１を遠隔制御すると共に、ロボット１０２１が物体を掴んだ時の力覚をユーザ１０１１に送付して、ユーザに対して作業サイト１０２０におけるロボットの制御を可能とする実施形態である。
【００６０】
図１０では、ユーザ・サイト１０１０のユーザ１０１１は、ＨＭＤ１０１２および力覚発生モジュール１０１３を装着している。ユーザ１０１１の動作は、映像として情報処理装置１０１４により撮影されている。このような情報処理装置１０１４としては、例えばＫｉｎｅｃｔ（登録商標）などを使用することができるが、これに限定されるものではない。
【００６１】
ユーザ１０１１の動作は、映像からその位置が解析され、ロボット度動作させるための制御データが生成される。生成された制御データは、作業サイト１０２０のロボットに送付され、ロボット１０２１の動作制御のために使用されている。作業サイト１０２０においても情報処理装置１０２５が設置されていて、情報処理装置１０２５の撮像装置が、作業サイト１０２０の作業状態を映像としてモニタしている。
【００６２】
一方、ロボット１０２１は、カメラ１０２２、圧力センサ１０２４を含むロボットアームを含んでいる。カメラ１０２２は、ロボット１０２１が作業する対象を撮影する。カメラ１０２２が取得した映像は、映像データとして、ユーザ・サイト１０１０の情報処理装置１０１４に送付される。情報処理装置１０１４は、受信した映像データをユーザ１０１１の装着するＨＭＤ１０１２に投影させている。このため、ユーザ１０１２の認識する映像は、ロボット１０２１が遠隔した作業サイト１０２０における物体１０２３の背景を含む映像となり、映像の共有が可能とされる。
【００６３】
一方、ロボット１０２１のロボットアームに装着された圧力センサ１０２４の検出データは、ネットワークを介してユーザ・サイトの情報処理装置１０１４に送付される。情報処理装置１０１４は、第１の実施形態における映像から取得した指先の位置に関連して圧力を生成するのではなく、圧力センサ１０２４の検出データを目標値として、ワイヤ１１２の変位量、すなわちモータ回転量を決定する。
【００６４】
また、作業サイト１０２０に配置された情報処理装置１０２５に接続された撮像装置は、圧力センサ１０２４の物体１０２６に対する角度を、第１の実施形態と同様にして測定し、それをセンサ・データとしてユーザ・サイト１０１０の情報処理装置１０１４に送付する。情報処理装置１０１４は、受領した角度データを使用して、圧生成デバイス１１０の下側プレート１１０ｂの角度を決定し、上述した目標値を与えるまで、モータ駆動を制御する。
【００６５】
図１０に説明した第２の実施形態では、ユーザ１０１１がロボット１０２１の認識した映像を使用して逆にロボット１０２１の動作を制御する。また、ロボット１０２１が検出している物体１０２６への圧力を、本発明の力覚発生モジュール１０６を制御することにより、ユーザ１０１１に対して生成させている。このため第２の実施形態では、ロボット１０２１の動作を、ロボットアームが物体に対して加えている圧力まで含めて制御可能となる。
【００６６】
第２の実施形態の情報処理システム１０００は、遠隔した場所にある農園におけるロボットによる収穫、ロボットを使用した手術、ロボットを使用した介護その他、対象に対して加える圧力をユーザの感覚により制御することが必要な用途であれば、用途を限定することなく適用することができる。
【００６７】
図１１は、第２の実施形態の情報処理システム１０００が実行する処理のフローチャートを示す。図１１の処理は、ステップＳ１１００から開始し、ステップＳ１１０１でユーザ・サイト１０１０における映像の受信を開始する。ステップＳ１１１０２でユーザが映像に対して動作を行い、ロボット１０２１の動作を制御する。ステップＳ１１０３では、作業サイト１０２０でロボットを動作させ、ステップＳ１１０４で、ロボット１０２１が物体をつかむ。ステップＳ１１０５では、力覚発生モジュール１０６を、圧力センサ１０２４で検出した値および角度を発生させるように制御する。
【００６８】
ステップＳ１１０６では制御継続するかしないかを判断し、制御を継続する場合（ｙｅｓ）、処理をステップＳ１１０３に分岐させ、処理を反復させる。一方、ステップＳ１１０６で処理を継続しない（ｎｏ）と判断した場合（ｎｏ）、ステップＳ１１０７で処理を終了する。
【００６９】
以上の処理により、本実施形態では、位置の他、ロボットが対象に対して加える圧力を反映したロボット制御が可能とされる。
【実施例】
【００７０】
以下、実施例を使用して本実施形態を詳細に説明する。なお、本発明は、後述する実施例によっても限定されるものではない。
【００７１】
本実施形態の情報処理システムを以下の構成として作成した。
ＰＣについて：
ＯＳ：Ｗｉｎｄｏｗｓ７  Ｈｏｍｅ  Ｐｒｅｍｉｕｍ（６４ｂｉｔオペレーティング・システム）
ＣＰＵ：Ｉｎｔｅｌ（Ｒ）  Ｃｏｒｅ（ＴＭ）ｉ５−４４６０  ＣＰＵ、３．２０ＧＨｚ
実装メモリ（ＲＡＭ） : ４．００ＧＢ
ウェブカメラについて：
メーカ：Ｌｏｇｉｃｏｏｌ
型番:Ｗｅｂｃａｍ  Ｃ５００
有効画素数:１３０万画素
最大フレームレート:３０ｆｐｓ
ＨＭＤについて：
型番:Ｖｕｚｉｘ  Ｗｒａｐ  １２００ＡＲ
ディスプレイ解像度:８５２×４８０
カメラ解像度:６４０×４８０
フレームレート:３０ｆｐｓ
【００７２】
以上のハードウェア構成の下、本実施形態のプログラムを作成し、ＰＣにインストールした。また対象物体としては、ＣＧ画像で、球およびサイン−コサイン曲面を生成して使用した。評価は、ＨＭＤが撮影する画像に合成し、ＨＭＤに投影した。そして、ＨＭＤおよび図１〜図３に示した構成の力覚発生モジュールを装着した被験者１１人に、ＣＧ物体をつかむ動作をさせ、ＣＧ物体をつかんでいる感覚がフィードバックされているかどうかについて実験後アンケートして行った。アンケート項目および評価スコアの基準は、以下の通りとした。
【００７３】
アンケート項目：
（１）サイン−コサイン曲面について
Ｑ１：一本指でサイン−コサイン曲面を触れた瞬間に、サイン−コサイン曲面の山もしくは谷の傾きあることがわかった。
Ｑ２：一本の指をサイン−コサイン曲面に接触させて動かせたとき、サイン−コサイン曲面の山もしくは谷の凹凸が認識できた。
（２）球体(曲面)にについて
Ｑ１：一本指で球体に触れた瞬間に、球面の傾きがわかった。
Ｑ２：一本指を球面に接触させて動かせたとき、球面の形状であることがわかった。
Ｑ３：二本指(親指、人差し指)で球体に接触したとき、球体に触れていることがわかった。
Ｑ４：二本指(親指，人差し指)で球体に接触したとき、球体を掴んでいる感じがした。
【００７４】
スコア：
５：そう思う
４：どちらかといえばそう思う
３：どちらでもない
２：そう思わない
１：全くそう思わない
【００７５】
下記表１および表２に示す。
【００７６】
【表１】
2018045371.tif 000004
【００７７】
【表２】
2018045371.tif 000005
【００７８】
以上の実験結果から、すべての評価項目において４．０以上の高評価を得られた。また、標準偏差についてもすべての評価項目において１．０以下であるため、スコアのばらつきも少ない傾向である。また、項目１、２において、球体よりもサイン−コサイン曲面の結果の方がスコアは高かった。これはサイン−コサイン曲面の方が球体よりも形状の変化が大きいため、被験者は形状の変化が大きければ大きいほど、認識しやすいと考えられる。表２の項目３、４においても４．０以上のスコアが得られた。
【００７９】
このため、被験者は、球体を掴んでいる認識ができたものと結論できた。以上の通り、本実施形態のハプティックデバイスは、物体に対して触っている力覚を再現できることができることを示すことができた。
【００８０】
これまで本発明を、実施形態をもって説明してきたが、本発明は、実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００８１】
１００    ：情報処理システム
１００    ：システム
１０１    ：ユーザ
１０２    ：装着部材
１０３    ：撮像装置
１０６    ：力覚発生モジュール
１０７    ：ＣＧ画像
１０８ａ  ：ドライバ
１０８ｂ  ：ドライバ
１０９    ：駆動モータ
１１０    ：圧生成デバイス
１１０ａ  ：上側プレート
１１０ｂ  ：下側プレート
１１０ｃ  ：コイル
１１１    ：入力装置
１１２    ：ワイヤ
２０１    ：指先
【図１】
2018045371.tif 000006
【図２】
2018045371.tif 000007
【図３】
2018045371.tif 000008
【図４】
2018045371.tif 000009
【図５】
2018045371.tif 000010
【図６】
2018045371.tif 000011
【図７】
2018045371.tif 000012
【図８】
2018045371.tif 000013
【図９】
2018045371.tif 000014
【図１０】
2018045371.tif 000015
【図１１】
2018045371.tif 000016