(57)【特許請求の範囲】
【請求項１】
擬似力覚提示デバイスで提示する力覚を決定する装置であり、
表示されているコンテンツの状態、および、前記擬似力覚提示デバイスと当該コンテンツとの間の三次元的な相対的位置関係に応じて、前記擬似力覚提示デバイスで提示する力覚を決定する決定部を有し、
前記決定部は、前記コンテンツの状態を表示する表示面に対して相対位置が固定されたカメラにより前記擬似力覚提示デバイスを有するコントローラを撮影した画像から、前記コントローラを物体追跡することで得た前記三次元的な相対位置関係を、前記擬似力覚提示デバイスで提示する力覚の決定に用いる、
装置。
【請求項２】
請求項１の装置であって、
前記相対位置関係は、前記コンテンツが表示されている表示面に対する法線方向の相対距離を少なくとも含み、
当該相対距離が第１距離の場合に前記決定部が決定する力覚を第１力覚とし、
当該相対距離が前記第１距離よりも小さい第２距離の場合に前記決定部が決定する力覚を第２力覚としたとき、
前記決定部は、前記第１力覚のほうが前記第２力覚よりも前記表示面に向かう牽引力が大きく知覚されるように前記擬似力覚提示デバイスで提示する力覚を決定する、
装置。
【請求項３】
請求項１または２の装置であって、
前記決定部は、
前記相対位置関係が所定の条件を満たさない場合であっても、前記擬似力覚提示デバイスに前記決定部で決定した所定の力覚の提示を開始してから一定時間経過した場合に、前記コンテンツの状態を変化させることで前記擬似力覚提示デバイスに提示する力覚を変化させる、
装置。
【請求項４】
請求項１から３の何れかの装置であって、
前記擬似力覚提示デバイスは、振動により前記力覚を提示するデバイスであり、前記コンテンツの状態の変化に応じ、前記振動の周期、非対称性、力波形の振幅の少なくとも何れかを変更する、装置。
【請求項５】
請求項１から４の何れかの装置であって、
前記コンテンツを表示する画面と、
前記擬似力覚提示デバイスから提示される力覚に同期させて前記画面を振動させる振動部と、を有する装置。
【請求項６】
擬似力覚提示デバイスで提示する力覚を決定する装置による方法であり、
表示されているコンテンツの状態、および、前記擬似力覚提示デバイスと当該コンテンツとの間の三次元的な相対的位置関係に応じて、前記擬似力覚提示デバイスで提示する力覚を決定する決定ステップを有し、
前記決定ステップは、前記コンテンツの状態を表示する表示面に対して相対位置が固定されたカメラにより前記擬似力覚提示デバイスを有するコントローラを撮影した画像から、前記コントローラを物体追跡することで得た前記三次元的な相対位置関係を、前記擬似力覚提示デバイスで提示する力覚の決定に用いる、
方法。
【請求項７】
請求項１から５の何れかの装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、疑似的な力覚を利用者に知覚させる技術に関し、特に知覚させる力覚を決定する技術に関する。
【背景技術】
【０００２】
家庭用ゲーム機や業務用ゲーム機の分野ではこれまで、様々な触覚フィードバック技術が利用されてきた。しかし、近年普及が進むモバイルゲームの分野では、触覚フィードバックは難しい課題となっている。
【０００３】
例えば、モバイル端末装置を利用した魚釣りゲーム用としては、内蔵のバイブレーターを利用して魚の引きの感覚を提示する技術が提案されている（例えば、特許文献１等参照）。しかし、通常のバイブレーターで提示できるのは振動感覚のみであり、その振動は手元で発生する。そのため、このような技術では、魚が釣り糸の先ではなく手の中にいるかのような違和感を与えてしまう。また、魚が糸を引く感覚（引きの感覚）を通常の方法で提示しようとすると、利用者に牽引力を加える装置が必要である。このような装置はどこかに固定しなければ利用できないため（そうしなければ装置自体が牽引の際に動いてしまう）、モバイル端末装置への搭載が困難である。
【０００４】
このような課題に対する１つの有効なアプローチとして、擬似力覚提示装置（例えば、非特許文献１等参照）の利用が考えられる。この装置は、非対称な振動を利用者の身体に与えることで、あたかもその身体部位に方向性のある外力を加わっているかのような感覚（力覚）を提示するものである。小型の振動子で実現できるため、モバイル端末装置上の力覚提示への応用が期待できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３５２４１４号公報
【非特許文献】
【０００６】
【非特許文献１】雨宮智浩，高椋慎也，伊藤翔，五味裕章，“指でつまむと引っ張られる感覚を生み出す装置「ぶるなび３」”，ＮＴＴ技術ジャーナル，2014年9月， Vol. 26， No. 9，pp. 23-26.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、出力されたコンテンツに応じた力覚を提示し、リアルな仮想体験を体感させることは容易ではない。本発明の課題は、出力されたコンテンツに応じた力覚を提示し、リアルな仮想体験を体感させることである。
【課題を解決するための手段】
【０００８】
本発明では、出力されているコンテンツの状態、および、擬似力覚提示デバイスと当該装置との相対的位置関係に応じて、当該擬似力覚提示デバイスで提示する力覚を決定する。
【発明の効果】
【０００９】
これにより、出力されたコンテンツに応じた力覚を提示し、リアルな仮想体験を体感させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は実施形態のシステム構成を例示したブロック図である。
【図２】図２は実施形態のシステムの使用状態を例示した図である。
【図３】図３は実施形態のコンテンツの「状態」とそれに応じた「振動」「映像」「音響」を例示した図である。
【図４】図４は実施形態で提示される力覚を例示した図である。
【図５】図５は実施形態の状態遷移を例示したフロー図である。
【図６】図６は実施形態の状態遷移を例示したフロー図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を説明する。
［概要］
まず、本実施形態の概要を説明する。
本実施形態では、装置から出力されているコンテンツの状態、および、当該コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係に応じ、当該擬似力覚提示デバイス（擬似力覚提示装置）で提示する力覚を決定する。これにより、出力されたコンテンツに応じた力覚を擬似力覚提示デバイスから提示し、リアルな仮想体験を体感させることができる。例えば、非特許文献１に記載された「魚釣りゲーム」の場合、接触子がタッチパネルに触れている場合にしかコントローラの位置情報が得られず、二次元の位置情報のみを用いて提示する力覚を決定している。そのため、コントローラの三次元的な動き（コントローラが画面に近づいたり離れたりする動きを含む）に対応した力覚提示ができない。非特許文献１に記載された「犬の散歩ゲーム」の場合にはＷｅｂカメラでコントローラの位置情報が得られるが、画面に対して水平な成分の位置情報（二次元の位置情報）しか用いていないため、コントローラの三次元的な動きに対応した力覚提示ができない。本実施形態ではコンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係に応じて力覚を決定するため、コントローラの三次元的な動きに対応した力覚を提示できる。また非特許文献１に記載された「魚釣りゲーム」や「犬の散歩ゲーム」では、表示される魚や犬などのコンテンツそのものの状態（位置以外の状態）を考慮せずに力覚を提示しているため、リアルな仮想体験を体感させることができない。本実施形態では「コンテンツの状態」および「相対的位置関係」に応じて力覚を決定するため、リアルな仮想体験を体感させることができる。また非特許文献１では、コンテンツそのものの状態を考慮せずに力覚を継続的に与え続けるものであり、継続的に振動を与え続けると力覚提示の効率が低下してしまうという擬似力覚提示装置に固有の課題もあった。本実施形態では「コンテンツの状態」に応じて力覚を決定するため、継続的に同じ振動を与え続ける頻度が減り、力覚提示の効率の低下を抑制できる。さらに、コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係を用いることで、外部の基準位置（非特許文献１のように室内に固定されたＡＲマーカなど）を基準として両者の位置を特定する場合に比べ、擬似力覚提示デバイスの位置推定精度を向上でき、精度の高い仮想体験を体感させることができる。
【００１２】
「コンテンツ」の例は、動画等の映像コンテンツ、音楽等の音響コンテンツ、および映像コンテンツと音響コンテンツとの組み合わせコンテンツである。映像コンテンツは、２次元映像コンテンツであってもよいし、３次元映像コンテンツであってもよいし、人の錯覚を利用した映像コンテンツであってもよい。映像コンテンツの例は、魚釣りゲームにおける魚の動画や水面の波紋などである。音響コンテンツは、モノラルコンテンツであってもよいし、ステレオコンテンツであってもよいし、多チャンネルコンテンツであってもよい。音響コンテンツの例は、魚の動きによって生じる波の音などである。
【００１３】
「コンテンツの状態」はコンテンツの「ありさま」を意味する。「コンテンツの状態」は、時間的に変化（遷移）する状態であってもよいし、時間的に変化しないコンテンツの種別に応じた状態であってもよい。「コンテンツの状態」は時間的に変化する状態のみに限定されてもよいし、されなくてもよい。「コンテンツの状態」は時間的に変化しないコンテンツの種別に応じた状態のみに限定されてもよいし、されなくてもよい。映像コンテンツの状態は、そのコンテンツを出力（表示）する「装置」内での位置（表示画面での座標）以外の「ありさま」を含む。言い換えると、映像コンテンツの状態は、「装置」内での位置に依存しない要素を含む。すなわち、「装置」内での位置が同一であっても映像コンテンツの状態が異なる場合があり、「装置」内での位置が異なっても映像コンテンツの状態が同一である場合もある。映像コンテンツの状態は、そのコンテンツを出力する「装置」内での位置に対応してもよいし、対応しなくてもよい。映像コンテンツの状態の具体例については後述する。音響コンテンツの状態は、映像コンテンツの状態に対応していてもよいし、対応していなくてもよい。音響コンテンツの状態についても後述する。
【００１４】
コンテンツを出力する「装置」の例は、モバイル端末装置や据え置き型の情報処理装置などである。モバイル端末装置の例は、スマートフォン端末装置、タブレット端末装置、ノート型パーソナルコンピュータ、携帯ゲーム機などである。据え置き型の情報処理装置の例は、ディスクトップ型のパーソナルコンピュータ、ゲーム機やスティック型パーソナルコンピュータなどのコンピュータが接続されたディスプレイやテレビジョン装置などである。
【００１５】
「擬似力覚提示デバイス」は振動により力覚を提示するデバイスである。「擬似力覚提示デバイス」が提示する力覚は「擬似的な力覚」である。「疑似的な力覚」とは、実際には擬似力覚提示デバイスが振動しているだけであるにも関わらず、あたかも振動の一方の方向へ定常的な牽引力がかかっているかのように感じる知覚をいう。「牽引力」とは引く力を意味する。「擬似力覚提示デバイス」は、非対称振動（非対称な力摂動）を行う振動子を備え、その振動子が提示する力の波形や振幅を制御することにより、所望の方向に所望の強さの力覚を知覚させることができる。例えば、この振動子が方向Ａへ大きな力を短時間与え、当該方向Ａの逆の方向Ｂへ小さな力を長時間与える力波形をもった周期的な力摂動を行うように制御した場合、「擬似力覚提示デバイス」を把持しているユーザは、この方向Ａへの擬似力覚を知覚する。これは人間の知覚特性を利用したものであり、把持動作に関わる固有感覚と触覚によって発生する現象である（例えば、非特許文献１、および参考文献１「特許第４５５１４４８号公報」参照）。すなわち、振動子の非対称振動のパターン（すなわち、「振動子の振動の非対称性」「振動子の力摂動の非対称性」）を制御することで、提示する力覚の方向および強さ（明確性）を制御できる。例えば、非特許文献１に開示されたアクチュエータを備える装置を「擬似力覚提示デバイス」として用いた場合、このアクチュエータに供給する電流の周期や反転比を制御することで力覚の方向および強さを制御できる。周期的な力摂動の周波数が８０Ｈｚまたは８０Ｈｚ近傍の周波数成分を含むように制御した場合、「擬似力覚提示デバイス」を把持しているユーザは強い力覚を知覚する。非特許文献１の構成の場合、４０Ｈｚの周波数成分を含む電流をアクチュエータに供給することにより、８０Ｈｚまたは８０Ｈｚ近傍の周波数成分を含む周期的な力摂動を実現できる。逆に、この周期的な加速度運動の周波数が８０Ｈｚまたはその付近の周波数成分を含まないように制御した場合、「擬似力覚提示デバイス」を把持しているユーザは弱い力覚を知覚するか、全く力覚を知覚しない。すなわち、振動子の振動の周期を変更することにより、知覚される力覚の強さを制御できる。また、知覚される力覚の強さは振動子の力摂動の波形（振動の力波形）の振幅の大きさによっても制御できる。例えば、強い力覚を提示したい場合には、力波形の振幅の大きな力摂動となるように振動子を駆動し、弱い力覚を提示したい場合には、力波形の振幅がそれよりも小さな力摂動となるように振動子を駆動すればよい。「力波形（振動の力波形）の振幅」とは、振動子の出力する力の絶対値の最大値を意味する。非特許文献１の構成の場合、アクチュエータに供給する電流の振幅を制御することで力覚の大きさを制御できる。すなわち「擬似力覚提示デバイス」は、振動により力覚を提示するデバイスであり、「コンテンツの状態」および／または「コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係」の変化に応じ、振動の周期、非対称性、加速度波形の振幅の少なくとも何れかを変更する。好ましくは、「擬似力覚提示デバイス」は、「コンテンツの状態」の変化に応じ、振動の周期、非対称性、力波形の振幅の少なくとも何れかを変更する。
【００１６】
「コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係」は、「コンテンツ」を出力する「装置」（例えば「装置の所定位置」）を基準とした「擬似力覚提示デバイス」（例えば「擬似力覚提示デバイスの所定位置」）の相対的な位置および／または相対的な傾きであってもよいし、「擬似力覚提示デバイス」（例えば「擬似力覚提示デバイスの所定位置」）を基準とした当該「装置」（例えば「装置の所定位置」）の相対的な位置および／または相対的な傾きであってもよい。例えば「相対的位置関係」は、映像コンテンツを表示する当該「装置」の「画面」を基準とした「擬似力覚提示デバイス」の相対的な位置および／または相対的な傾きであってもよいし、「擬似力覚提示デバイス」を基準とした当該「画面」の相対的な位置および／または相対的な傾きであってもよい。好ましくは、「相対的な位置」および「相対的な傾き」は当該「画面」に対する「法線方向成分」を含むものである。すなわち、「相対的位置関係」の変化は、「画面」の所定位置に対する「擬似力覚提示デバイス」の所定位置および／または傾きの当該「法線方向成分」の変化であってもよい。あるいは、「相対的位置関係」の変化は、「擬似力覚提示デバイス」の所定位置に対する「画面」の所定位置（座標）および／または向きの当該「法線方向成分」の変化であってもよい。「コンテンツ」を出力する「装置」が「相対的位置関係」を得るためセンサを有していてもよい。このようなセンサの例はＷｅｂカメラその他のイメージセンサなどの非接触位置センサである。その他の装置が「相対的位置関係」を得るためセンサを備えていてもよい。
【００１７】
（Ａ）擬似力覚提示デバイスで提示する力覚を決定する「装置」と当該「擬似力覚提示デバイス」との相対的位置関係、または、「擬似力覚提示デバイス」の向きにより指定された位置と「コンテンツ」の出力位置との相対的位置関係、および（Ｂ）時間に応じて（すなわち「相対的位置関係」および「時間」に応じて）、「コンテンツ」の状態が変化してもよい。これにより、「相対的位置関係」に応じた「三次元的な空間」と「時間」とに応じて状態が変化する「コンテンツ」が表現され、リアルな仮想体験を体感させることができる。
【００１８】
好ましくは、擬似力覚提示デバイスで提示する力覚を決定する「装置」は、「コンテンツ」を出力する「出力部」を有し、（Ａ）当該「装置」と「擬似力覚提示デバイス」との相対距離、または、（Ｂ）「擬似力覚提示デバイス」の向きにより指定された位置とコンテンツの出力位置とに基づく相対距離が大きいほど、「出力部」に向かう牽引力が大きく知覚される力覚を決定する。これによって引き離すほど強い力で引き戻される場（例えば魚釣りの場面など）を仮想体験させることができる。好ましくは、「出力部」は画像コンテンツを表示する「画面」であり、当該「装置」は上記「相対距離」における「画面」の法線方向成分が大きいほど、当該「画面」に向かう牽引力が大きく知覚される力覚を決定する。これにより、「画面」の法線方向成分に応じた力覚を提示できる。
【００１９】
「擬似力覚提示デバイス」から提示される力覚に同期させて、映像コンテンツを表示する画面を振動させてもよい。これにより、さらにリアルな仮想体験を体感させることができる。
【００２０】
上述の変形例として、出力されているコンテンツの状態、および、少なくとも擬似力覚提示デバイスの向きにより指定された位置と当該コンテンツの出力位置との相対的位置関係に応じて、擬似力覚提示デバイスで提示する力覚を決定してもよい。「擬似力覚提示デバイスの向きにより指定された位置」は、「擬似力覚提示デバイス」の外部に存在する位置であってもよいし、「擬似力覚提示デバイス」の内部に存在する位置であってもよい。また「擬似力覚提示デバイスの向きにより指定された位置」は、「擬似力覚提示デバイス」の向きと「コンテンツの出力位置」とによって定まるものであってもよい。「コンテンツの出力位置」は、コンテンツを出力する「装置」上の位置（画面等）であってもよいし、当該「装置」の外部の位置（スクリーンや外部のディスプレイ画面）であってもよい。例えば「擬似力覚提示デバイス」がレーザポインタなどのポインティングデバイスを備え、そこからポインティングされた位置を「擬似力覚提示デバイスの向きにより指定された位置」としてもよい。このようにしても上記と同じ効果を得ることができる。
【００２１】
［第１実施形態］
次に図面を用いて第１実施形態を説明する。本実施形態は本発明を魚釣りゲームに応用した例を説明する。ただし、これは本発明を限定するものではない。
【００２２】
＜構成＞
図１および図２に例示するように、本実施形態のシステムは、コントローラ１１、駆動装置１２、および端末装置１３を有する。コントローラ１１と駆動装置１２とは有線通信が可能なように有線接続されており、駆動装置１２と端末装置１３とは無線通信が可能なように構成されている。図２の例では、ユーザ１０が右手でコントローラ１１を把持し、左腕に腕時計型の駆動装置１２を装着し、左手で端末装置１３を把持している。ただし、これは一例であってこのような使用形態に限定されない。例えば図２では図のわかりやすさを優先して、コントローラ１１を持つ手と反対の手に駆動装置１２を装着しているが、駆動装置１２はコントローラ１１を持った手に身に付けることもできる。一般には、そのようにする方が配線なども短くて済み、望ましい。
【００２３】
＜コントローラ１１＞
コントローラ１１は、非対称振動により魚の引きの感覚を提示する擬似力覚提示デバイス１１１を有する。例えばコントローラ１１は、擬似力覚提示デバイス１１１をＡＢＳなどの素材のケースに入れたものであり、ケースの形状を釣り竿に見立てたものにすることもできる。前述のように、擬似力覚提示デバイス１１１は非対称振動により擬似的な力覚を提示する。擬似力覚提示デバイス１１１の機能は小型の振動子で実現できるため、モバイル端末装置などの装置の携帯性を大きく損ねない形で力覚提示を実現できる。擬似力覚提示デバイス１１１には、例えば、非特許文献１に開示された装置を利用できる。
【００２４】
＜駆動装置１２＞
駆動装置１２は駆動信号受信部１２２および駆動信号生成部１２１を有する。駆動信号受信部１２２は無線通信装置であり、駆動信号生成部１２１は擬似力覚提示デバイス１１１を駆動するための駆動信号を生成する。駆動装置１２は、例えば、Bluetooth（登録商標）インタフェースなどの無線通信装置、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
【００２５】
＜端末装置１３の構成＞
端末装置１３は、状態認識部１３１（センサ）、状態遷移部１３２、信号生成部１３３（決定部）、映像表示部１３４（出力部）、音響提示部１３５、および振動信号送信部１３６を有する。端末装置１３は、例えば、前述のようなコンピュータが所定のプログラムを実行することで構成される装置である。プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。端末装置１３の例は、モバイル端末装置や据え置き型の情報処理装置である。
【００２６】
≪映像表示部１３４≫
映像表示部１３４は、映像コンテンツであるゲーム映像を表示する画面である。例えば、モバイル端末装置に内蔵されたディスプレイや据え置き型の情報処理装置のディスプレイを映像表示部１３４として利用できる。
【００２７】
≪音響提示部１３５≫
音響提示部１３５は、音響コンテンツであるゲーム音を再生するスピーカーである。例えばモバイル端末装置に内蔵されたスピーカーや据え置き型の情報処理装置のスピーカーを音響提示部１３５として利用できる。
【００２８】
≪状態認識部１３１≫
状態認識部１３１は非接触位置センサであり、映像表示部１３５（例えば、画面）に対するコントローラ１１の相対的な位置（相対的位置関係）を取得する。例えば、所定のプログラムを実行するＣＰＵおよび映像表示部１３４に対する相対位置が固定されたカメラ（例えば、モバイル端末装置の内蔵カメラ）によって状態認識部１３１の機能を実現できる。コントローラ１１の位置と姿勢の認識には様々なアルゴリズムが利用可能である。例えば、パーティクルフィルタのアルゴリズムを利用して、撮影したコントローラ１１の外部の色彩の物体を追跡すれば、周囲にコントローラと見分けにくい色の物体があっても、コントローラ１１を追跡できる。また、コントローラ１１の認識を容易にするために、コントローラ１１の下部（映像表示部１３４側に向けられる端部）にマーカーなどを付してもよい。
【００２９】
≪状態遷移部１３２≫
状態遷移部１３２は、映像表示部１３４に対するコントローラ１１の相対的な位置および時間に基づき、魚釣りゲームの状態（魚の位置や姿勢、水面の波面、魚が釣り針にかかっているかどうか、魚の状態毎に設定されたタイマー、乱数等）を遷移させる。すなわち、状態遷移部１３２は、映像表示部１３４とコントローラ１１との相対的位置関係および時間に応じて、コンテンツの状態を変化させる。
【００３０】
≪信号生成部１３３≫
信号生成部１３３は、上述の魚釣りゲームの状態に応じたゲーム映像、ゲーム音、および振動をそれぞれ指定する、映像信号、音響信号、および振動信号を生成する。信号生成部１３３の特徴的な点は、映像表示部１３４で表示されているコンテンツの状態、および、コントローラ１１と端末装置１３との相対的位置関係（擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係）に応じて、擬似力覚提示デバイス１１１で提示する力覚を決定し、その力覚を擬似力覚提示デバイス１１１に提示させるための振動信号を生成する点である。
【００３１】
≪振動信号送信部１３６≫
振動信号送信部１３６は無線通信装置であり、振動信号を駆動装置１２に送信する。例えば、モバイル端末装置のBluetooth（登録商標）インタフェースを振動信号送信部１３６として利用できる。
【００３２】
＜動作＞
次に本実施形態の動作を説明する。本実施形態の魚釣りゲームにおいては、例えば図３に例示するように、魚の映像コンテンツの状態として、釣り針がかかっていない魚が自由に泳いでいる状態（ＦＲＥＥ状態）、魚が釣り針に食いついている状態（ＨＩＴ状態）、釣り針を咥えた魚が水中を下降している状態（ＳＩＮＫ状態）、釣り針を咥えた魚が水面に向かって上昇している状態（ＲＩＳＥ状態）、釣り針がしっかりかかった魚が利用者に引かれて水面に向かって上昇している状態（ＣＡＴＣＨ状態）、魚が釣れた状態（ＧＯＡＬ状態）の６状態を扱う。このように、魚の映像コンテンツの状態を分け、それぞれの場合に応じた振動（力覚）、ゲーム映像、およびゲーム音を再生することで、釣り体験を構成する一連の状態を表現する。これらの各状態は端末装置１３とコントローラ１１（擬似力覚提示デバイス１１１）との相対的位置関係および時間に応じて変化する。つまり、コントローラ１１と映像表示部１３４中の魚の映像コンテンツ１３４ｂとの相対的位置関係およびその時間変化の情報ならびにその時刻のゲーム状態に基づいて映像コンテンツ１３４ｂの状態を遷移させ、それに応じてゲーム映像および提示する力覚を変化させることで魚とのインタラクションを表現する。すなわち、端末装置１３で出力しているコンテンツの状態、および、擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて、擬似力覚提示デバイス１１１で提示される力覚、映像表示部１３４で表示されるゲーム映像、および音響提示部１３５で提示されるゲーム音が制御（決定）される。なお、本形態の例では、ゲーム映像として、魚の映像コンテンツ１３４ｂの他、姿水面の波紋の映像や釣り針に相当するカーソルの映像コンテンツ１３４ａが表示される。これにより、ゲームのリアリティ、わかりやすさ、エンターテインメント性、芸術性などを高めることができる。特に、端末装置１３がコントローラ１１への力覚提示を指示した場合に（指示と同期させて）、映像表示部１３４が波紋の映像コンテンツを表示してもよい。また魚が立てる波の音の音響コンテンツを、映像表示部１３４に近傍に配置された音響提示部１３５から再生することで、あたかもそこに魚が実在するかのような錯覚を与えることもできる。
【００３３】
また、本実施形態の魚釣りゲームにおいては、例えば、図４のように、複数種類の魚の映像コンテンツを扱うことができ、魚の種類に応じて振動パターン（振動の周期、非対称性、力波形の振幅の少なくとも何れか）を変えることで、異なる種類の魚の引きの感覚の違いを表現することができる。例えば、アユは小さいため引きがおしなべて弱く、コイの引きは強い上にバタバタとした振動感覚を伴い、ブラックバスについては引きの感覚の強弱を小さくすることでその単調な引きを表現している。また、魚以外でも昆虫などの小さな生物との引き合いでは小さな引きを生じさせる、あるいはゴミやヨーヨーなどの魚以外の物体がかかった場合は振動しないなどの表現が実装されてもよい。
【００３４】
次に図５および図６を用い、本実施形態の坂釣りゲームの動作を説明する。状態認識部１３１は、継続的または断続的に、端末装置１３（映像表示部１３４）とコントローラ１１（擬似力覚提示デバイス１１１）との相対的位置関係を取得し、取得した相対的位置関係を状態遷移部１３２に送る。
【００３５】
状態遷移部１３２は、入力された相対的位置関係、時間、および各時刻のコンテンツの状態（「ＦＲＥＥ状態」「ＨＩＴ状態」「ＳＩＮＫ状態」「ＲＩＳＥ状態」「ＣＡＴＣＨ状態」「ＧＯＡＬ状態」）に基づいて、コンテンツの状態を遷移させる。初期状態は「ＦＲＥＥ状態」である。状態遷移部１３２は、各時刻のコンテンツの状態を出力する。信号生成部１３３は、入力された状態に応じたゲーム映像、ゲーム音、および振動をそれぞれ指定する、映像信号、音響信号、および振動信号を生成する。
【００３６】
「ＦＲＥＥ状態」では、信号生成部１３３が「魚が自由に泳ぐ映像」の映像信号を生成して出力する。また信号生成部１３３は釣り針に相当する「カーソルの映像」の映像信号を生成して出力する。この「カーソルの映像」の表示座標は、端末装置１３（映像表示部１３４）とコントローラ１１（擬似力覚提示デバイス１１１）との相対的位置関係に対応する。相対的位置関係が変化すれば「カーソルの映像」の表示座標も変化する。例えば、この相対的位置関係のうち映像表示部１３４（画面）に対する水平成分の変位のみに応じて「カーソルの映像」の表示座標が変化してもよいし、相対的位置関係のうち映像表示部１３４（画面）に対する水平方向成分および法線方向成分の少なくとも一方の変化に応じて「カーソルの映像」の表示座標が変化してもよい。「魚が自由に泳ぐ映像」の映像信号および「カーソルの映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「魚が自由に泳ぐ映像」の映像コンテンツ１３４ｂおよび「カーソルの映像」の映像コンテンツ１３４ａを表示する。「ＦＲＥＥ状態」では、擬似力覚提示デバイス１１１は力覚を提示しない（ステップＳ１３２ａ）。
【００３７】
状態遷移部１３２は、魚の映像コンテンツ１３４ｂの表示座標と、相対的位置関係に応じたカーソルの映像コンテンツ１３４ａの表示座標とが接近したか（魚とカーソルとが接近したか）を判定する。例えば、状態遷移部１３２は、魚の映像コンテンツ１３４ｂの表示座標（魚の映像コンテンツ１３４ｂの所定位置の表示座標）の所定範囲内に、カーソルの映像コンテンツ１３４ａの表示座標が存在するかを判定する。例えば、映像コンテンツ１３４ｂである魚の口と、表示している映像コンテンツ１３４ｂの向きに応じたベクトルとを用い、魚の口から魚の向きを示すベクトルに沿った方向の一定領域を「所定範囲」と定義し、この判定を行ってもよい。魚の映像コンテンツ１３４ｂの表示座標の所定範囲内にカーソルの映像コンテンツ１３４ａの表示座標が存在すれば魚とカーソルとが接近したと判定し、そうでない場合に魚とカーソルとが接近していないと判定する（ステップＳ１３２ｂ）。魚とカーソルとが接近していないと判定した場合、状態遷移部１３２は「ＦＲＥＥ状態」を維持する（ステップＳ１３２ａ）。一方、魚とカーソルとが接近したと判定した場合、状態遷移部１３２はコンテンツの状態を「ＨＩＴ状態」に遷移させる。
【００３８】
「ＨＩＴ状態」では、信号生成部１３３が、擬似力覚提示デバイス１１１が牽引力を５０ｍｓ間隔で知覚させる力覚を提示するための振動信号、「釣り針の付近で動く魚と同付近で発生する波紋の映像」の映像信号、および「魚の動きによって生じる波の音」の音響信号を生成して出力する。例えば、この振動信号は、魚が「アユ」である場合には「弱強度の短い牽引力」を提示するためのものであり、魚が「コイ」または「ブラックバス」ある場合には「中強度の短い牽引力」を提示するためのものである（図４）。振動信号は振動信号送信部１３６に送られて送信される。振動信号は駆動装置１２の駆動信号受信部１２２で受信され、駆動信号生成部１２１に送られる。駆動信号生成部１２１は振動信号に応じた力覚を提示させるための駆動信号を生成して擬似力覚提示デバイス１１１に供給する。擬似力覚提示デバイス１１１は、供給された駆動信号に応じた力覚（駆動信号で指定された力覚パターンに応じた力覚）を提示する。「釣り針の付近で動く魚と同付近で発生する波紋の映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針の付近で動く魚と同付近で発生する波紋の映像」の映像コンテンツ１３４ｂを表示する。「魚の動きによって生じる波の音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚の動きによって生じる波の音」を出力する（ステップＳ１３２ｃ）。
【００３９】
状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｄ）。ここでの「所定範囲」はステップＳ１３２ｂの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出た（コントローラ１１が映像表示部１３４から離れた）と判定された場合、状態遷移部１３２は、処理をステップＳ１３２ａに戻すことで「ＨＩＴ状態」を「ＦＲＥＥ」状態に遷移させる。これによって魚が逃げたことを表現する。一方、コントローラ１１が映像表示部１３４から所定範囲内に位置している場合には、状態遷移部１３２は、「ＨＩＴ状態」に遷移してから一定時間が経過したかを判定する（ステップＳ１３２ｅ）。ここで、一定時間が経過していないと判定された場合、状態遷移部１３２は処理をステップＳ１３２ｄに戻す。一方、一定時間が経過したと判定された場合、状態遷移部１３２はコンテンツの状態を「ＳＩＮＫ状態」に遷移させる。
【００４０】
「ＳＩＮＫ状態」では、信号生成部１３３が魚の映像コンテンツ１３４ｂの方向へコントローラ１１が引かれる牽引力を提示するための振動信号、「釣り針を咥えた魚が水中を下降している映像」の映像信号、および「魚の動きによって生じる波の音」の音響信号を生成して出力する。例えば、この振動信号は、魚が「アユ」である場合には「弱強度の持続的な牽引力」を提示するためのものであり、魚が「コイ」または「ブラックバス」ある場合には「中強度の持続的な牽引力および振動」を提示するためのものである（図４）。振動信号は振動信号送信部１３６、駆動信号生成部１２１と送られ、これに応じて駆動信号生成部１２１で生成された駆動信号が擬似力覚提示デバイス１１１に供給され、擬似力覚提示デバイス１１１は駆動信号に応じた力覚を提示する。「釣り針を咥えた魚が水中を下降している映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針を咥えた魚が水中を下降している映像」の映像コンテンツ１３４ｂを表示する。「魚の動きによって生じる波の音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚の動きによって生じる波の音」を出力する（ステップＳ１３２ｆ）。
【００４１】
状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｇ）。ここでの「所定範囲」はステップＳ１３２ｂやＳ１３２ｄの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出ていないと判定された場合、状態遷移部１３２は、乱数整数を生成し（ステップＳ１３２ｈ）、その乱数整数が３０の倍数であるかを判定する（ステップＳ１３２ｉ）。ここで、整数乱数が３０の倍数でなかった場合、状態遷移部１３２は、処理をステップＳ１３２ｆに戻して「ＳＩＮＫ状態」を維持する。一方、整数乱数が３０の倍数であった場合、状態遷移部１３２はコンテンツの状態を「ＲＩＳＥ状態」に遷移させる。
【００４２】
「ＲＩＳＥ状態」では、信号生成部１３３が「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号を生成して出力する。「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針を咥えた魚が水面に向かって上昇している映像」の映像コンテンツ１３４ｂを表示する。「ＲＩＳＥ状態」では、擬似力覚提示デバイス１１１は力覚を提示しない（ステップＳ１３２ｊ）。
【００４３】
状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｋ）。ここでの「所定範囲」はステップＳ１３２ｂやＳ１３２ｄやＳ１３２ｇの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出ていないと判定された場合、状態遷移部１３２は、乱数整数を生成し（ステップＳ１３２ｍ）、その乱数整数が３０の倍数であるかを判定する（ステップＳ１３２ｉ）。ここで、整数乱数が３０の倍数でなかった場合、状態遷移部１３２は、処理をステップＳ１３２ｆに戻して「ＲＩＳＥ状態」を維持する。一方、整数乱数が３０の倍数であった場合、状態遷移部１３２は、処理をステップＳ１３２ｆに戻すことでコンテンツの状態を「ＳＩＮＫ状態」に遷移させる。
【００４４】
上述したステップＳ１３２ｆからＳ１３２ｎでは、魚の映像コンテンツ１３４ｂの状態が「ＳＩＮＫ状態」と「ＲＩＳＥ状態」との間をランダムに遷移する。ここで、「ＳＩＮＫ状態」にあるステップＳ１３２ｇにおいて、コントローラ１１が映像表示部１３４の所定範囲外に出たと判定された場合、状態遷移部１３２は、処理をステップＳ１３２ｐに進めることで「ＣＡＴＣＨ状態」に遷移させる。一方、「ＲＩＳＥ状態」にあるステップＳ１３２ｋにおいて、コントローラ１１が映像表示部１３４の所定範囲外に出たと判定された場合、状態遷移部１３２は処理をステップＳ１３２ａに戻すことで「ＲＩＳＥ状態」を「ＦＲＥＥ状態」に遷移させる。これによって魚が逃げたことを表現する。
【００４５】
「ＣＡＴＣＨ状態」では、信号生成部１３３が魚の映像コンテンツ１３４ｂの方向へコントローラ１１が強く引かれる牽引力を提示するための振動信号、「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号、および「魚の動きによって生じる波の音」の音響信号を生成して出力する。例えば、この振動信号は、魚が「アユ」である場合には「中強度の持続的な牽引力」を提示するためのものであり、魚が「コイ」ある場合には「強強度の持続的な牽引力および振動」を提示するためのものであり、魚が「ブラックバス」ある場合には「中強度の持続的な牽引力および振動」を提示するためのものである（図４）。振動信号は振動信号送信部１３６、駆動信号生成部１２１と送られ、これに応じて駆動信号生成部１２１で生成された駆動信号が擬似力覚提示デバイス１１１に供給され、擬似力覚提示デバイス１１１は駆動信号に応じた力覚を提示する。「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針を咥えた魚が水面に向かって上昇している映像」の映像コンテンツ１３４ｂを表示する。「魚の動きによって生じる波の音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚の動きによって生じる波の音」を出力する。「ＣＡＴＣＨ状態」では、映像表示部１３４に対するコントローラ１１の距離（例えば映像表示部１３４である画面の法線方向成分の距離）が所定値以上のときに、魚の水面までの距離が減少していくことにする。この際、端末装置１３と擬似力覚提示デバイス１１１との相対距離（例えば、映像表示部１３４である画面の法線方向成分の相対距離）が大きいほど、映像表示部１３４に向かう牽引力（魚の映像コンテンツ１３４ｂの方向へコントローラ１１が強く引かれる牽引力）が大きく知覚される力覚が提示されてもよい（ステップＳ１３２ｑ）。ここで、魚が水面に到達していないとき、信号生成部１３３はステップＳ１３２ｐの「ＣＡＴＣＨ状態」を維持する。一方、魚が水面に到達したとき（魚の水面までの距離が０となったとき）、信号生成部１３３は、処理をステップＳ１３２ｒに進めることで「ＣＡＴＣＨ状態」を「ＧＯＡＬ状態」に遷移させる。
【００４６】
「ＧＯＡＬ状態」では、「釣れた魚を見せる映像」の映像信号、および「魚が釣れたことを知らせるメロディ音」の音響信号を生成して出力する。「釣れた魚を見せる映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣れた魚を見せる映像」の映像コンテンツ１３４ｂを表示する。「魚が釣れたことを知らせるメロディ音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚が釣れたことを知らせるメロディ音」を出力する（ステップＳ１３２ｒ）。
【００４７】
状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｓ）。ここでの「所定範囲」はステップＳ１３２ｂやＳ１３２ｄやＳ１３２ｇやＳ１３２ｋの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出ていないと判定された場合、状態遷移部１３２は処理をステップＳ１３２ｒに戻すことで「ＧＯＡＬ状態」を維持する。一方、コントローラ１１が映像表示部１３４の所定範囲外に出たと判定された場合、状態遷移部１３２は処理をステップＳ１３２ａに戻すことで「ＧＯＡＬ状態」を「ＦＲＥＥ状態」に遷移させる。
【００４８】
以上のように釣り針がかかった魚が水中を下降する「ＳＩＮＫ状態」で牽引力をかけ、水中を上昇する「ＲＩＳＥ状態」で牽引力かからないように擬似力覚提示デバイス１１１を制御することで、魚の映像コンテンツ１３４ｂとコントローラ１１との間に釣り糸があり、その張力がかかっているような錯覚を生じさせることができる。また、適切なタイミング（ＳＩＮＫ状態）でコントローラ１１を映像表示部１３４（画面）から離すように引いたときに、牽引力が強くなる状態遷移（ＳＩＮＫ状態→ＣＡＴＣＨ状態）を設けることで、魚を引っ張ったというリアルな手ごたえを表現できる。
【００４９】
＜本形態の特徴＞
本形態では、出力されている魚の映像コンテンツ１３４ｂの状態、および、擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて、擬似力覚提示デバイス１１１で提示する力覚を決定することとした。これにより、出力した魚の映像コンテンツ１３４ｂに応じた力覚を擬似力覚提示デバイス１１１から提示し、リアルな仮想体験を体感させる魚釣りゲームを実現できる。
【００５０】
また非特許文献１の魚釣りゲームでは、擬似力覚提示デバイスから糸で錘をぶら下げ、その錘を魚の映像コンテンツを表示するタッチセンサ付きの画面に接触させ、擬似力覚提示デバイスと魚の映像コンテンツとの位置関係を検出していた。しかしながら、モバイル端末装置では画面のサイズが小さく、特に揺れたり、傾いたりするモバイル端末装置で利用する場合にはその操作が困難であった。本形態では擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて力覚を決定するため、非特許文献１の方法よりも操作が簡易となり、また画面の小さなモバイル端末装置でも十分に利用できる。
【００５１】
さらに非特許文献１の魚釣りゲームでは、魚の映像コンテンツと擬似力覚提示デバイスとの画面の法線方向の相対的位置（例えば、相対的な距離や相対的な向き）に応じて提示する力覚を変化させる制御はできなかった。本形態では、擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて力覚を決定するため、魚の映像コンテンツと擬似力覚提示デバイスとの画面の法線方向の相対的位置に応じて提示する力覚を変化させることができ、映像コンテンツと擬似力覚提示デバイスとの間の三次元的な位置関係に応じて提示する力覚を制御できる。これにより、魚釣りゲームの臨場感を高めることができる。
【００５２】
さらに非特許文献１の魚釣りゲームでは、継続して同様の振動を与え続けると、触覚受容器の順応を生じ、利用者が体験する力覚の強度が時間とともに減衰していってしまうという擬似力覚提示デバイスに固有の問題もあった。本形態では、端末装置１３と擬似力覚提示デバイス１１１との相対的位置関係および時間に応じてコンテンツの状態が変化し、そのコンテンツの状態に応じて力覚を変化させる。そのため、触覚受容器の順応による力覚の強度の減衰を防止できる。また、仮想的な釣り糸の長さの変化や魚の種類の違いに応じて、力覚を提示するための振動周波数、振動強度、あるいは振動パターンを変化させることで、ゲームで体験できる力覚をより豊かなものにできる。
【００５３】
また、ゲーム映像中の魚の映像コンテンツ１３４ｂとコントローラ１１との三次元的な相対的位置関係に基づいて、釣り糸の張力がその長さの伸びに比例するという自然法則を再現するように提示する力覚を制御することで、画面内の魚に牽引されているかのような錯覚を与えることができる。
【００５４】
［第２実施形態］
出力されているコンテンツの状態、および、擬似力覚提示デバイスの向きにより指定された位置と当該コンテンツの出力位置との相対的位置関係に応じて、擬似力覚提示デバイスで提示する力覚を決定してもよい。例えば、第１実施形態では、端末装置のカメラ等の状態認識部でコントローラを撮影等して、コントローラと端末装置との相対的位置を算出していた。しかしながら、コントローラ（力覚提示デバイス）がポインティング機能も備え持ち、コントローラと端末装置との相対的位置の代りにポインティングされた位置と端末装置で出力しているコンテンツの位置との相対位置を用いてもよい。
【００５５】
この場合、図１等に例示するように、第１実施形態のコントローラ１１がコントローラ２１に置換され、端末装置１３が端末装置２３に置換される。コントローラ２１は、擬似力覚提示デバイス１１１に加えてレーザポインタなどのポインタを有する。端末装置２３は、状態認識部１３１に代えて状態認識部２３１を有することを除き、端末装置１３と同じである。コントローラ２１のポインタ２１２によってポンティングされた位置（少なくとも擬似力覚提示デバイス１１１の向き（端末装置１３に対する相対的な向き）により指定された位置、例えば、擬似力覚提示デバイス１１１の向きと位置（端末装置１３に対する相対的な位置）により指定された位置）は状態認識部１３１に送られる。状態認識部１３１はその位置と映像表示部１３４に表示されている映像コンテンツ（例：魚の口の部分を示す座標位置）との相対的位置関係（例えば、ポンティングされた位置と映像コンテンツの位置の２つの座標値の間の距離）を状態遷移部１３２に送る。その後の処理は第１実施形態と同じである。この場合、擬似力覚提示デバイス１１１の向きにより指定された位置とコンテンツの出力位置との相対的位置関係および時間に応じてコンテンツの状態が変化してもよいし、擬似力覚提示デバイスの向きにより指定された位置とコンテンツの出力位置とに基づく相対距離が大きいほど、映像表示部１３４に向かう牽引力が大きく知覚される力覚が提示されてもよい。
【００５６】
なお、コントローラ２１がレーザポインタ等のポインタを有さずとも良い。たとえば、第１実施形態で説明したようなコントローラ１１の表面にマーカー模様をつけておき、端末装置２３が備え持つカメラ（状態認識部２３１）で得られるコントローラ１１表面のマーカーの見え方に基づき、端末装置２３に対する擬似力覚提示デバイス１１１の相対的な向き（たとえば、端末装置２３の映像表示部１３４の法線方向と擬似力覚提示デバイス１１１が指し示す方向との成す角度）を検知することとしても良い。他の方法としては、擬似力覚提示デバイス１１１と端末装置２３のそれぞれが傾きを検知するセンサを備え持ち、擬似力覚提示デバイス１１１の傾きを検知するセンサの検知結果が端末装置２３に通信で送信され、端末装２３置にて擬似力覚提示デバイス１１１と端末装置２３との相対的な向きを求めることとしても良い。
【００５７】
端末装置２３にて擬似力覚提示デバイス１１１と端末装置２３との相対的な向きが求まった際、この「求めた向き」の情報のみに基づき擬似力覚提示デバイス１１１で指定する位置を特定することとしても良いし、「求めた位置」に加えて、擬似力覚提示デバイス１１１と端末装置２３との相対的な位置に基づき擬似力覚提示デバイス１１１で指定する位置を特定することとしても良い。「求めた向き」のみに基づくようにする場合、たとえば、端末装置２３の映像表示部１３４の所定の位置（例：中央部）を指し示すこととする相対的な向きを予め定めておき、その予め定めた向きと求めた向きとの向きの違い（方向の違い、角度の違い）に応じて映像表示部１３４の所定の位置か、方向の違いに応じた方向に、角度の違いに基づく距離だけ離れた位置を擬似力覚提示デバイス１１１で指示することとすれば良い。一方、「求めた向き」に加えて、擬似力覚提示デバイス１１１と端末装置２３との相対的な位置に基づくようにする場合、擬似力覚提示デバイス１１１の位置と向きに基づき、擬似力覚提示デバイス１１１上（デバイス内、デバイスの近傍も含む）の予め定めた位置から、予め定めた向きに直線を伸ばし、その直線が映像表示部１３４と交差する部分を擬似力覚提示デバイス１１１の向きにより指定された位置としても良い。
【００５８】
［第３実施形態］
第１実施形態および第２実施形態の変形例として、擬似力覚提示デバイス１１１から提示される力覚に同期させて、画面である映像表示部１３４を振動させてもよい。この場合、第１実施形態の端末装置１３が端末装置３３に置換される。端末装置３３は、信号生成部１３３に代えて信号生成部３３３を有し、さらに振動部３３７を有することを除き、端末装置１３と同じである。振動部３３７は映像表示部１３４に近接して配置され、入力された制御信号に基づいて映像表示部１３４を振動させる。
【００５９】
信号生成部３３３は、前述のように状態遷移部１３２に定められるコンテンツの状態に応じ、擬似力覚提示デバイス１１１から提示される力覚に同期させて画面である映像表示部１３４を振動させる。これにより、画面に表示された魚の存在感を増すことができる。
【００６０】
［その他の変形例等］
本発明は上述の実施の形態に限定されるものではない。例えば、上述の各実施形態では、端末装置の画面に映像コンテンツが表示されていた。しかしながら、端末装置がプロジェクション機能を持ち、端末装置によって投影されたプロジェクタ投影面を画面の代替として用いてもよい。この場合には、キャリブレーションにより、プロジェクタで投影する領域を予め取得しておき、投影する領域とコントローラとの相対距離を「相対的位置関係」として用いてもよい。プロジェクタ投影面を画面の代替とする場合、第２実施形態の「擬似力覚提示デバイスの向きにより指定された位置」として、ポインティングされたプロジェクタ投影面上の位置を用いてもよい。
【００６１】
上述の各実施形態では、駆動装置とコントローラが別筐体となっているが、駆動装置とコントローラとが１つの筐体に含まれる構造でもよい。
【００６２】
上述の実施形態では、端末装置の状態認識部（例えば、カメラ）のみでコントローラ（擬似力覚提示デバイス）と端末装置との相対的位置関係を認識した。しかしながら、コントローラまたはコントローラを握る腕に取り付けた駆動装置に内蔵したセンサ（例えば、加速度センサ）から端末装置とコントローラ（擬似力覚提示デバイス）との相対的位置関係を求めて状態認識部への入力としてもよい。
【００６３】
またコンテンツの各状態に応じた振動信号を表す情報（振動の周期、非対称性、力波形の振幅など）を端末装置側と駆動装置とで予め共有しておいてもよい。この場合、端末装置はコンテンツの状態を表す情報のみを駆動装置に送信すればよく、駆動装置はこの情報に基づいて振動信号を得て駆動信号を生成できる。
【００６４】
上述の実施形態では、コンテンツの状態として「ＦＲＥＥ状態」「ＨＩＴ状態」「ＳＩＮＫ状態」「ＲＩＳＥ状態」「ＣＡＴＣＨ状態」「ＧＯＡＬ状態」の６つの状態を例示した。しかし、これらは一例であって本発明を限定するものではない。また「コンテンツの状態」は、ゲームの進行に応じて時間的に変化する状態に限定されるものではなく、例えば魚の種類や魚の大きさ（稚魚、成魚など）を状態として用いてもよい。逆に、コンテンツの状態を、ゲームの中で時間的に変化する情報のみに限定してもよい。さらに、コンテンツの表示位置（コントローラと端末装置との相対位置ではなく、たとえば、端末装置の映像表示部である画面中の魚の映像コンテンツの表示座標）を「コンテンツの状態」の一例として使ってもよいし、使わなくともよい。
【００６５】
上述の実施形態では魚を釣り上げる魚釣りゲームを例にしたが、本発明は他の用途にも応用可能である。例えば、綱引きゲーム、乗馬の手綱の引き具合を擬似力覚で模擬するゲーム等の他の種類のゲームや、所定の作業を実施するための位置決めスキル獲得アプリケーションでの利用等、他の用途に本発明を適用してもよい。
【００６６】
上述の実施形態では、コントローラと端末装置との相対位置を相対的位置関係として抽出する例を示した。しかしながら、コントローラではなくコントローラを保持している手（または指）を検出対象とし、それと端末装置との相対位置を相対的位置関係としてもよい。あるいは、コントローラと手（または指）の組み合わせを検出対象とし、それらと端末装置との相対位置を相対的位置関係としてもよい。
【００６７】
さらに、端末装置やコントローラがジャイロセンサを備え、それによって検出される端末装置の画面に対するコントローラの向き（またはその時間変化）を状態遷移（例：「ＦＲＥＥ状態」「ＨＩＴ状態」「ＣＡＴＣＨ状態」等の状態の変化）のトリガとして用いてもよい。
【００６８】
その他、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６９】
上述の端末装置をコンピュータによって実現する場合、端末装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記端末装置の処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００７０】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００７２】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【符号の説明】
【００７３】
１１，２１  コントローラ
１２  駆動装置
１３，２３，３３  端末装置
【図１】
0006509698.tif 000002
【図２】
0006509698.tif 000003
【図３】
0006509698.tif 000004
【図４】
0006509698.tif 000005
【図５】
0006509698.tif 000006
【図６】
0006509698.tif 000007