(57)【特許請求の範囲】
【請求項１】
外部装置と通信可能である、前記外部装置とは別体の制御装置であって、
動作の指示を前記外部装置に出力する動作指示出力部と、
ユーザによって知覚される、前記指示に応じた前記外部装置のある期間における動作を特定する動作特定部と、
特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記外部装置の動作の開始タイミングを推定する推定部と、
推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する提供部、
を含むことを特徴とする制御装置。
【請求項２】
前記推定部は、特定される前記動作に基づいて、前記所定の映像又は音声に対応する、前記外部装置の単位動作が行われる時間の長さを推定し、
前記提供部は、推定される前記時間の長さにて前記所定の映像又は音声を前記ユーザに提供する、
ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記動作指示出力部は、前記ユーザによる前記外部装置に対する操作に応じた動作の指示を前記外部装置に出力する、
ことを特徴とする請求項１又は２に記載の制御装置。
【請求項４】
前記提供部は、前記ユーザが装着するヘッドマウントディスプレイの向きと、特定される前記外部装置の動作と、に応じた映像を前記ヘッドマウントディスプレイに表示させる、
ことを特徴とする請求項１から３のいずれか一項に記載の制御装置。
【請求項５】
前記提供部は、特定される前記外部装置の動作に応じて動くオブジェクトが配置された仮想空間を、前記ヘッドマウントディスプレイの向きに応じた方向から見た様子を表す映像を前記ヘッドマウントディスプレイに表示させる、
ことを特徴とする請求項４に記載の制御装置。
【請求項６】
前記動作指示出力部は、さらに、前記ユーザに提供される前記映像又は前記音声に応じた動作の指示を、前記外部装置とは異なる外部装置に出力する、
ことを特徴とする請求項１から５のいずれか一項に記載の制御装置。
【請求項７】
動作指示出力部が、動作の指示を装置に出力するステップと、
動作特定部が、ユーザによって知覚される、前記指示に応じた前記装置のある期間における動作を特定するステップと、
推定部が、特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記装置の動作の開始タイミングを推定するステップと、
提供部が、推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供するステップ、
を含むことを特徴とする提供方法。
【請求項８】
動作の指示を装置に出力する手順、
ユーザによって知覚される、前記指示に応じた前記装置のある期間における動作を特定する手順、
特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記装置の動作の開始タイミングを推定する手順、
推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する手順、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、提供方法及びプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータなどだけでなく、様々な物体に通信機能を持たせて、相互に通信することで、これらの物体の制御や計測などを行うモノのインターネット（ＩｏＴ）の技術が着目され始めている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
モノのインターネットの技術を用いて、ゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったエンタテイメント装置と、当該エンタテイメント装置とは別体の外部装置と、を通信により連携させることが検討されている。例えば、仮想空間内に配置された視点から当該仮想空間を見た様子を表す映像が表示される一人称視点のゲームにおいて、表示される映像や出力される音声とフィットネス装置とを連携させることが検討されている。このような連携では、例えばユーザが使用しているフィットネス装置の動作速度に応じた速度で仮想空間内を視点が移動する、あるいは、当該フィットネス装置の動作速度に応じた周期で音声が出力されるようにする、等のゲーム演出を行うことが考えられる。
【０００４】
例えば上述のように、ユーザが知覚する外部装置の動作と当該ユーザに提供される映像や音声とを連携させる場面では、外部装置の動作とユーザに提供される映像や音声とを同期させることが重要となる。しかし従来はこのような同期を実現する技術が存在しなかった。
【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが知覚する装置の動作と当該ユーザに提供される映像や音声とを同期させることができる制御装置、提供方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る制御装置は、外部装置と通信可能である、前記外部装置とは別体の制御装置であって、動作の指示を前記外部装置に出力する動作指示出力部と、ユーザによって知覚される、前記指示に応じた前記外部装置の動作を特定する動作特定部と、特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記外部装置の動作の開始タイミングを推定する推定部と、推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する提供部、を含む。
【０００７】
本発明の一態様では、前記推定部は、特定される前記動作に基づいて、前記所定の映像又は音声に対応する、前記外部装置の単位動作が行われる時間の長さを推定し、前記提供部は、推定される前記時間の長さにて前記所定の映像又は音声を前記ユーザに提供する。
【０００８】
また本発明の一態様では、前記動作指示出力部は、前記ユーザによる前記外部装置に対する操作に応じた動作の指示を前記外部装置に出力する。
【０００９】
また本発明の一態様では、前記提供部は、前記ユーザが装着するヘッドマウントディスプレイの向きと、特定される前記外部装置の動作と、に応じた映像を前記ヘッドマウントディスプレイに表示させる。
【００１０】
この態様では、前記提供部は、特定される前記外部装置の動作に応じて動くオブジェクトが配置された仮想空間を、前記ヘッドマウントディスプレイの向きに応じた方向から見た様子を表す映像を前記ヘッドマウントディスプレイに表示させてもよい。
【００１１】
また本発明の一態様では、前記動作指示出力部は、さらに、前記ユーザに提供される前記映像又は前記音声に応じた動作の指示を、前記外部装置とは異なる外部装置に出力する。
【００１２】
また、本発明に係る提供方法は、動作の指示を装置に出力するステップと、ユーザによって知覚される、前記指示に応じた前記装置の動作を特定するステップと、特定される前記動作に基づいて、前記期間より後の期間である、所定の映像又は音声に対応する動作が行われる期間を推定するステップと、推定される前記期間の開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供するステップ、を含む。
【００１３】
また、本発明に係るプログラムは、動作の指示を装置に出力する手順、ユーザによって知覚される、前記指示に応じた前記装置の動作を特定する手順、特定される前記動作に基づいて、前記期間より後の期間である、所定の映像又は音声に対応する動作が行われる期間を推定する手順、推定される前記期間の開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する手順、をコンピュータに実行させる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成の一例を示す図である。
【図２Ａ】本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。
【図２Ｂ】本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。
【図３】ユーザが左右の手のそれぞれによって手綱部を握っている様子の一例を示す図である。
【図４】仮想空間の一例を示す図である。
【図５】仮想カメラに設定された視点の位置及び視線方向の一例を示す図である。
【図６】キーフレームの馬オブジェクトの一例を示す図である。
【図７Ａ】表示画像の一例を示す図である。
【図７Ｂ】表示画像の一例を示す図である。
【図７Ｃ】表示画像の一例を示す図である。
【図８】現在時刻までのフィットネス装置の揺動運動と、次の周期の揺動運動の開始タイミング及びその周期の推定値、との関係の一例を模式的に示す図である。
【図９】馬オブジェクトの位置及び向きの変化の一例を示す図である。
【図１０】実空間におけるヘッドマウントディスプレイの位置及び向きと、仮想空間における仮想カメラに設定された視点の位置及び視線方向の関係の一例を示す図である。
【図１１】本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。
【図１２】本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
【図１３】本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００１６】
図１は、本発明の一実施形態に係るエンタテインメントシステム１０の全体構成の一例を示す図である。図１に示すように本実施形態に係るエンタテインメントシステム１０には、ヘッドマウントディスプレイ（ＨＭＤ）１２、エンタテインメント装置１４、中継装置１６、ディスプレイ１８、カメラマイクユニット２０、コントローラ２２、が含まれる。また本実施形態に係るエンタテインメントシステム１０には、ハブ装置２４、フィットネス装置２６、送風機２８、芳香器３０、も含まれる。
【００１７】
図２Ａは、本実施形態に係るＨＭＤ１２の構成の一例を示す図である。本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、制御部４０、記憶部４２、入出力部４４、表示部４６、センサ部４８、音声出力部５０が含まれる。
【００１８】
制御部４０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
【００１９】
記憶部４２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部４２には、制御部４０によって実行されるプログラムなどが記憶される。
【００２０】
入出力部４４は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。
【００２１】
表示部４６は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部４６は、ＨＭＤ１２の筐体に収容される。表示部４６は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部４６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部４６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
【００２２】
センサ部４８は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部４８は、ＨＭＤ１２の回転量、移動量などの計測結果を示すモーションデータを所定のフレームレートで、制御部４０に出力する。
【００２３】
音声出力部５０は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部５０は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。
【００２４】
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。
【００２５】
図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、制御部６０、記憶部６２、通信部６４、入出力部６６が含まれる。
【００２６】
制御部６０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
【００２７】
記憶部６２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部６２には、制御部６０によって実行されるプログラムなどが記憶される。
【００２８】
通信部６４は、例えばネットワークボードや無線ＬＡＮモジュールなどの通信インタフェースなどである。
【００２９】
入出力部６６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
【００３０】
本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。
【００３１】
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
【００３２】
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
【００３３】
ＨＭＤ１２と中継装置１６、及び、エンタテインメント装置１４と中継装置１６は、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
【００３４】
本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、左右に並んで２つ配置されている操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。
【００３５】
また本実施形態に係るコントローラ２２は、例えば加速度センサやモーションセンサなどといったセンサを備えている。本実施形態に係るコントローラ２２は、コントローラ２２が備えるセンサによって計測される回転量、移動量などを示すモーションデータを所定のフレームレートでエンタテインメント装置１４に送信する。
【００３６】
図１に示すように本実施形態に係るコントローラ２２は、フィットネス装置２６の着座部２６ａの前方に固定されており、フィットネス装置２６の動きと連動して動くようになっている。そのためコントローラ２２が備えるセンサによって、フィットネス装置２６の回転量、移動量が計測されることとなる。このようにして本実施形態に係るコントローラ２２は、フィットネス装置２６の回転量、移動量などを示すモーションデータを所定のフレームレートでエンタテインメント装置１４に送信することとなる。
【００３７】
本実施形態に係るハブ装置２４は、エンタテインメント装置１４と接続されたサーバコンピュータなどのコンピュータであり、エンタテインメント装置１４と通信可能である。
【００３８】
本実施形態に係るフィットネス装置２６は、例えばユーザが着座部２６ａに座ることで乗ることが可能な乗馬型フィットネス装置である。
【００３９】
本実施形態に係るフィットネス装置２６は、動作速度を数段階（例えば１０段階）で設定可能となっている。そして本実施形態に係るフィットネス装置２６では、設定された動作速度で着座部２６ａが８の字状に周期的に揺動する揺動運動が行われる。
【００４０】
本実施形態では例えば、フィットネス装置２６に、動作速度を示す値として０以上９以下のいずれかの整数値が設定される動作速度設定値を示すデータが記憶されることとする。なお本実施形態では、動作速度設定値が「０」である場合は、フィットネス装置２６は停止する。また本実施形態では、それぞれの動作速度設定値には、対応する動作速度が予め定められており、動作速度設定値が大きいほど動作速度が速くなるようになっている。すなわち動作速度設定値が大きいほど、フィットネス装置２６の単位時間あたりの回転量や移動量は大きい。また動作速度設定値が大きいほど、着座部２６ａの揺動運動の周期は短い。
【００４１】
ここで例えば動作速度設定値が「ｎ」である場合の動作速度を、第ｎの動作速度と呼ぶこととする（ｎは０以上９以下の整数）。なお上述のように、値ｎが大きい程、第ｎの動作速度は速く、また第０の動作速度は０である。本実施形態では、動作速度設定値が「ｎ」に変更された際には、フィットネス装置２６は、第ｎの動作速度に達するまで徐々に速度が変化する。また例えば動作速度設定値が「０」に変更された際には、フィットネス装置２６は、徐々に速度が遅くなってやがて停止する。
【００４２】
本実施形態では上述のように、コントローラ２２が、当該コントローラ２２が備えるセンサによって計測される、揺動運動を行うフィットネス装置２６のモーションデータを所定のフレームレートでエンタテインメント装置１４に送信する。例えばフィットネス装置２６の動作速度が速くなると、コントローラ２２が送信するモーションデータが示す単位時間あたりの回転量や移動量の値は大きくなる。また逆にフィットネス装置２６の動作速度が遅くなると、コントローラ２２が送信するモーションデータが示す単位時間あたりの回転量や移動量の値は小さくなる。
【００４３】
エンタテインメント装置１４は、上述のようにして所定のフレームレートでコントローラ２２から受信するモーションデータに基づいて、フィットネス装置２６の動作速度や揺動運動の周期を特定できることとなる。
【００４４】
また本実施形態に係るフィットネス装置２６の前方には、ユーザによって把持される操作部材である手綱部２６ｂが取り付けられている。図３は、ユーザが左手Ｌ及び右手Ｒで手綱部２６ｂを握っている様子の一例を示す図である。手綱部２６ｂは、圧力センサを備えており、ユーザが左右の手のそれぞれによって手綱部２６ｂを握る力の強さを検出することができるようになっている。
【００４５】
そして本実施形態に係るフィットネス装置２６は、手綱部２６ｂが備える圧力センサが検出する、左手Ｌが握る力の強さ及び右手Ｒが握る力の強さを示す圧力データを、所定のフレームレートでハブ装置２４に送信する。そして本実施形態では、ハブ装置２４が、フィットネス装置２６から受信した圧力データを所定のフレームレートでエンタテインメント装置１４に送信する。なお本実施形態では、左手Ｌが握る力の強さに対応付けられる、コントローラ２２が備える左側のアナログスティックの傾きの大きさを示す値が、圧力データにおける左手Ｌが握る力の強さを示すデータの値として設定されることとする。また右手Ｒが握る力の強さに対応付けられる、コントローラ２２が備える右側のアナログスティックの傾きの大きさを示す値が、圧力データにおける右手Ｒが握る力の強さを示すデータの値として設定されることとする。このように本実施形態では、圧力データのデータ形式は、コントローラ２２がエンタテインメント装置１４に出力する、アナログスティックの傾きの大きさを示すデータのデータ形式と同様のものとなる。
【００４６】
エンタテインメント装置１４は、上述のようにして所定のフレームレートでハブ装置２４から受信する圧力データの値に基づいて、ユーザが手綱部２６ｂを握っている左手Ｌの力の強さ及び右手Ｒの力の強さを特定できることとなる。
【００４７】
本実施形態に係る送風機２８は、出力される風の強さが数段階で（例えば３段階で）設定可能な送風機である。
【００４８】
本実施形態に係る芳香器３０は、収容された液状芳香剤を吸い上げて揮散するように構成されており、出力される香りの強さが数段階で（例えば３段階で）設定可能である、電動式の芳香器である。
【００４９】
また本実施形態に係るハブ装置２４、フィットネス装置２６、送風機２８、芳香器３０は、いずれも、例えばＡｌｌＪｏｙｎ（登録商標）などといったＩｏＴの規格に準拠した通信を行うために必要なプログラムがインストールされている。そのため本実施形態に係るハブ装置２４、フィットネス装置２６、送風機２８、芳香器３０は、互いに、例えばＡｌｌＪｏｙｎなどといったＩｏＴの規格に準拠した通信を行うことができるようになっている。
【００５０】
そして本実施形態に係るハブ装置２４は、エンタテインメント装置１４から受信するデータを、ＩｏＴの規格に準拠した通信により、フィットネス装置２６、送風機２８、又は、芳香器３０に送信できるようになっている。また本実施形態では、ハブ装置２４は、フィットネス装置２６、送風機２８、又は、芳香器３０から受信するデータを、エンタテインメント装置１４に送信できるようになっている。
【００５１】
本実施形態では、図１に示すように、エンタテインメントシステム１０が配置されている実空間において、フィットネス装置２６の後方から前方に向かう方向がＸ１軸正方向であることとする。また、Ｘ１軸正方向を水平面に沿って左に９０度回転させた方向がＹ１軸正方向であることとする。また鉛直上向きの方向がＺ１軸正方向であることとする。なお本実施形態に係るフィットネス装置２６は、初期状態において、フィットネス装置２６の後方から前方に向かう方向がＸ１軸正方向となるよう実空間内に配置されていることとする。また本実施形態では、フィットネス装置２６に固定されているコントローラ２２に設定された基準となる位置をＰ１とし、コントローラ２２の後方から前方に向かう基準となる方向をＱ１とする。コントローラ２２が送信するモーションデータは、位置Ｐ１及び方向Ｑ１の変化量を示していることとなる。また本実施形態では、ＨＭＤ１２に設定された基準の位置をＰ２とし、ＨＭＤ１２の後方から前方に向かう基準の方向をＱ２とする。
【００５２】
そして本実施形態では、エンタテインメント装置１４で生成される、図４に例示する、野原を模した仮想空間７０内に配置された仮想カメラ７２に設定された視点から視線方向を見た様子を表す映像が、ＨＭＤ１２の表示部４６に表示される。なお本実施形態では、表示部４６に表示される画像は所定のフレームレート（例えば１／６０秒間隔）で更新される。
【００５３】
本実施形態に係る仮想空間７０には、様々な仮想オブジェクト７４が配置されている。仮想空間７０には、例えば、ユーザの操作対象となる馬の仮想オブジェクト７４である馬オブジェクト７４ａが配置されている。また仮想空間７０には、花の仮想オブジェクト７４である花オブジェクト７４ｂ、きのこの仮想オブジェクト７４であるきのこオブジェクト７４ｃ、木の仮想オブジェクト７４である木オブジェクト７４ｄ、７４ｅ、７４ｆも配置されている。
【００５４】
また本実施形態では、初期状態における仮想空間７０において、馬オブジェクト７４ａの後方から前方に向かう水平方向がＸ２軸正方向であることとする。またＸ２軸正方向を仮想空間７０における水平面に沿って左に９０度回転させた方向がＹ２軸正方向であることとする。また仮想空間７０における鉛直上向き方向がＺ２軸正方向であることとする。また本実施形態では、馬オブジェクト７４ａに設定された基準となる位置をＰ３とし、馬オブジェクト７４ａの後方から前方に向かう基準の向きをＱ３とする。なお、位置Ｐ３及び向きＱ３は、Ｘ２軸、Ｙ２軸、Ｚ２軸から構成されるグローバル座標系で定義されることとする。
【００５５】
また本実施形態では、仮想空間７０に配置されている馬オブジェクト７４ａに、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系が設定されている。当該ローカル座標系では、馬オブジェクト７４ａの後方から前方に向かう方向がＸ３軸正方向であることとする。また、馬オブジェクト７４ａの後方から前方を見た際における右から左に向かう方向がＹ３軸正方向であることとする。また、馬オブジェクト７４ａの下から上に向かう方向がＺ３軸正方向であることとする。
【００５６】
そして本実施形態では、図５に示すように、仮想カメラ７２に設定された視点の位置Ｐ４及び視線方向Ｑ４は、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系で定義されることとする。本実施形態では、初期状態において、ＨＭＤ１２の基準方向Ｑ２は、Ｘ１軸正方向を向いていることとする。そしてこの場合において、仮想カメラ７２の視点の位置Ｐ４は、馬に乗ったユーザの視点の位置として適切な位置Ｐ４に設定され、視線方向Ｑ４はＸ３軸正方向を向いていることとする。
【００５７】
また本実施形態では、フィットネス装置２６の動作速度又は揺動運動の周期の長さに基づいて、馬オブジェクト７４ａの移動速度、すなわち位置Ｐ３の移動速度が決定される。ここでは例えばフィットネス装置２６の揺動運動の周期の長さに基づいて、位置Ｐ３の移動速度が決定されることとする。
【００５８】
また本実施形態では馬オブジェクト７４ａは、一完歩の動作を周期とする３次元アニメーションで、歩いて移動する様子が表現される。本実施形態では、馬オブジェクト７４ａが移動している間は、所定のフレームレートで仮想空間７０に配置される馬オブジェクト７４ａの形状や姿勢が変化することとする。また本実施形態では、馬オブジェクト７４ａの移動中は、一完歩の動作を周期とする３次元アニメーションの再生が繰り返し行われることとする。
【００５９】
なお本実施形態では例えば、馬オブジェクト７４ａの３次元アニメーションをキーフレーム方式で実現することとする。図６には、本実施形態における４つのキーフレームの馬オブジェクト７４ａ（７４ａａ、７４ａｂ、７４ａｃ、及び、７４ａｄ）の一例が示されている。なお馬オブジェクト７４ａａと馬オブジェクト７４ａｃの高さｈ１は、馬オブジェクト７４ａｂと馬オブジェクト７４ａｄの高さｈ２より低いこととする。本実施形態では例えば、フィットネス装置２６の動作速度又は揺動運動の周期の長さに基づいて決定されたタイミングに、これらのキーフレームの馬オブジェクト７４ａが仮想空間７０に配置されることとなる。そしてこれらのタイミング以外のタイミングについては、前後のキーフレームの馬オブジェクト７４ａを補間することで生成される馬オブジェクト７４ａが仮想空間７０に配置されることとなる。
【００６０】
また本実施形態では、エンタテインメント装置１４は、所定のキーフレームの馬オブジェクト７４ａが仮想空間７０に配置されるタイミングに、馬の蹄の音の出力指示をＨＭＤ１２に送信する。例えば馬オブジェクト７４ａａ、又は、馬オブジェクト７４ａｃが仮想空間７０に配置されるタイミングに馬の蹄の音の出力指示がＨＭＤ１２に送信される。ＨＭＤ１２は、当該出力指示の受信に応じて、音声出力部５０から馬の蹄の音を出力させる。
【００６１】
本実施形態では図１に示すように、ユーザはＨＭＤ１２を装着した状態でフィットネス装置２６の着座部２６ａに座ることによって、エンタテインメントシステム１０を利用する。そして本実施形態では、ユーザが手綱部２６ｂを操作することで、フィットネス装置２６の揺動運動の周期、馬オブジェクト７４ａの仮想空間７０内における位置Ｐ３や向きＱ３を変化させることができるようになっている。またＨＭＤ１２を装着したユーザが頭部を動かすことで、馬オブジェクト７４ａに対する相対的な視点の位置Ｐ４や視線方向Ｑ４を変化させることができるようになっている。また上述のように、本実施形態では、馬オブジェクト７４ａの移動に応じてＨＭＤ１２の音声出力部５０から馬の蹄の音が出力されることとなる。
【００６２】
図７Ａ、図７Ｂ、及び図７Ｃは、それぞれ、表示部４６に表示される映像を構成するフレーム画像の一例である表示画像８０を示す図である。図７Ａには表示画像８０ａが示されており、図７Ｂには表示画像８０ｂが示されており、図７Ｃには表示画像８０ｃが示されている。
【００６３】
図７Ａに示す表示画像８０ａには、上述の高さｈ１の馬オブジェクト７４ａａの像が配置されており、図７Ｂに示す表示画像８０ｂ、及び、図７Ｃに示す表示画像８０ｃには、上述の高さｈ２の馬オブジェクト７４ａｂの像が配置されている。
【００６４】
また図７Ｂに示す表示画像８０ｂが表示される際の上述の位置Ｐ３は、図７Ａに示す表示画像８０ａが表示される際の上述の位置Ｐ３よりも前である。また図７Ａに示す表示画像８０ａが表示される際の、上述の向きＱ３、位置Ｐ４、及び、視線方向Ｑ４と、図７Ｂに示す表示画像８０ｂが表示される際の、上述の向きＱ３、位置Ｐ４、及び、視線方向Ｑ４とは同じである。
【００６５】
また、図７Ｂに示す表示画像８０ｂが表示される際の上述の位置Ｐ３、向きＱ３、及び、位置Ｐ４は、図７Ｃに示す表示画像８０ｃが表示される際の上述の位置Ｐ３、向きＱ３、及び、位置Ｐ４と同じである。また図７Ｃに示す表示画像８０ｃが表示される際の視線方向Ｑ４は、図７Ｂに示す表示画像８０ｂが表示される際の視点の視線方向Ｑ４よりも右を向いている。そのため、図７Ｃに示す表示画像８０ｃ内において馬オブジェクト７４ａｂの像が配置されている位置が、図７Ｂに示す表示画像８０ｂ内において馬オブジェクト７４ａｂの像が配置されている位置よりも左になっている。
【００６６】
このように本実施形態では、上述の位置Ｐ３、向きＱ３、位置Ｐ４、及び、視線方向Ｑ４の変化に応じて、ＨＭＤ１２の表示部４６に表示される映像が変化することとなる。
【００６７】
以上のようにして本実施形態によれば、ユーザは、フィットネス装置２６の揺動運動、表示部４６に表示される映像、及び、音声出力部５０から出力される音声から醸し出される、あたかも野原の中で乗馬をしているような感覚を楽しむことができることとなる。
【００６８】
以下、ユーザの操作に応じた、フィットネス装置２６の動作速度の変化についてさらに説明する。
【００６９】
本実施形態では初期状態では、フィットネス装置２６の動作速度設定値は「０」であり、フィットネス装置２６は停止していることとする。また、仮想空間７０に配置された馬オブジェクト７４ａは停止していることとする。
【００７０】
そして本実施形態では、上述のように、エンタテインメント装置１４が所定のフレームレートで圧力データをフィットネス装置２６から受信して、当該圧力データに応じた動作指示をハブ装置２４経由でフィットネス装置２６に送信する。そして動作指示を受信したフィットネス装置２６は、当該動作指示に応じて、フィットネス装置２６の動作速度を変更する。このようにして本実施形態では、ユーザが手綱部２６ｂを操作することで、フィットネス装置２６の動作速度を変更できるようになっている。
【００７１】
例えば、フィットネス装置２６が停止している際に、ユーザが手綱部２６ｂを両手で強く第１の所定時間だけ握ったとする。ここでは例えば、ユーザが手綱部２６ｂを強さＦ１よりも強い強さで１秒間握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌ及び右手Ｒの力の強さがともに強さＦ１より強い期間が、１秒間に達したことを認識する。するとエンタテインメント装置１４は、動作開始指示をハブ装置２４経由でフィットネス装置２６に送信する。
【００７２】
そして動作開始指示を受信したフィットネス装置２６は、動作速度設定値を「１」に変更し、フィットネス装置２６の動作速度が第１の動作速度となるようフィットネス装置２６の動作速度を徐々に速くする。
【００７３】
このようにして本実施形態では、フィットネス装置２６が停止している際に、ユーザが手綱部２６ｂを両手で強く握ると、フィットネス装置２６は、動作を開始することとなる。
【００７４】
また例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で柔らかく第２の所定時間だけ握ったとする。ここでは例えば、ユーザが手綱部２６ｂを強さＦ２よりも強く強さＦ１より弱い強さで０．１秒間握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌ及び右手Ｒの力の強さがともに強さＦ２よりも強く強さＦ１よりも弱い期間が、０．１秒間に達したことを認識する。するとエンタテインメント装置１４は、速度増加指示をハブ装置２４経由でフィットネス装置２６に送信する。
【００７５】
そして速度増加指示を受信したフィットネス装置２６は、動作速度設定値を１だけ増加させて、動作速度を速くする。例えば動作速度設定値が「４」から「５」に変更された場合、フィットネス装置２６は、当該変更に応じて、フィットネス装置２６の動作速度が第５の動作速度となるようフィットネス装置２６の動作速度を徐々に速くする。
【００７６】
このようにして本実施形態では、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で柔らかく握ると、フィットネス装置２６の動作速度は速くなることとなる。
【００７７】
また例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で強く第３の所定時間だけ握ったとする。ここでは例えば、ユーザが手綱部２６ｂを強さＦ１よりも強い強さで０．１秒間握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌ及び右手Ｒの力の強さがともに強さＦ１より強い期間が、０．１秒間に達したことを認識する。するとエンタテインメント装置１４は、速度減少指示をハブ装置２４経由でフィットネス装置２６に送信する。
【００７８】
そして速度減少指示を受信したフィットネス装置２６は、動作速度設定値を１だけ減少させて、動作速度を遅くする。例えば動作速度設定値が「５」から「４」に変更された場合、フィットネス装置２６は、当該変更に応じて、フィットネス装置２６の動作速度が第４の動作速度となるようフィットネス装置２６の動作速度を徐々に遅くする。
【００７９】
また本実施形態では、速度減少指示の送信後においても、ユーザが手綱部２６ｂを強さＦ１よりも強い強さで握っている場合は、その期間、エンタテインメント装置１４は、速度減少指示の送信を継続する。そしてフィットネス装置２６は、速度減少指示を受信している間は、動作速度設定値を減少させて、動作速度を徐々に遅くする。
【００８０】
このようにして本実施形態では、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で強く握り続けると、フィットネス装置２６の動作速度は徐々に遅くなり、最終的には停止することとなる。
【００８１】
以上のようにして，本実施形態によれば、ユーザの操作に応じて、フィットネス装置２６の動作速度が変化することとなる。
【００８２】
以下、仮想空間７０に配置された馬オブジェクト７４ａの位置Ｐ３や向きＱ３の制御、及び、馬オブジェクト７４ａの形状や姿勢の制御についてさらに説明する。
【００８３】
本実施形態に係るエンタテインメント装置１４は、コントローラ２２から所定のフレームレート、揺動運動を行うフィットネス装置２６の回転量、移動量などを示すモーションデータを受信する。そして本実施形態に係るエンタテインメント装置１４は、受信するモーションデータに基づいて、ある期間のフィットネス装置２６の動作を特定する。そしてエンタテインメント装置１４は、特定される動作に基づいて、この期間よりも後である、フィットネス装置２６の揺動運動を推定する。例えば、フィットネス装置２６の揺動運動の周期及びその開始タイミングが推定される。そしてエンタテインメント装置１４は、推定される開始タイミング及びその周期に基づいて、馬オブジェクト７４ａの仮想空間７０内における位置Ｐ３や向きＱ３を変化させる。またエンタテインメント装置１４は、推定される開始タイミング及びその周期に基づいて、配置される馬オブジェクト７４ａの形状や姿勢を決定して、決定される形状や姿勢の馬オブジェクト７４ａを仮想空間７０に配置する。
【００８４】
図８は、現在時刻までのフィットネス装置２６の揺動運動と、次の周期の揺動運動の開始タイミング及びその周期の推定値、との関係の一例を模式的に示す図である。図６に示すように、例えば現在時刻がｔａ０であることとする。またこのときフィットネス装置２６は、現在の揺動運動の周期が半分終了した状態となっていることとする。そして当該揺動運動の周期の開始タイミングである時刻はｔａ１であり、その前の揺動運動の周期の開始タイミングである時刻はｔａ２であることとする。
【００８５】
この場合、時刻ｔａ１から始まっているフィットネス装置２６の現在の揺動運動の周期Ｔａ１の半分（Ｔａ１／２）は、ｔａ０−ｔａ１であることとなる。すなわち、周期Ｔａ１は、（ｔａ０−ｔａ１）×２と推定される。また前回の揺動運動の周期Ｔａ２は、ｔａ１−ｔａ２であり、その前の揺動運動の周期Ｔａ３は、ｔａ２−ｔａ３であることとなる。
【００８６】
そして本実施形態では、現在時刻ｔａ０までのフィットネス装置２６の揺動運動に基づいて、現在時刻ｔａ０より後のフィットネス装置２６の揺動運動の開始タイミング及びその周期が推定される。例えば、図６には、現在時刻ｔａ０より、Ｔｂ１／２だけ後のタイミングが、次の揺動運動の開始タイミングｔｂ１として示されている。ここで例えば、Ｔａ１の推定値、すなわち（ｔａ０−ｔａ１）×２が、Ｔｂ１の推定値とされてもよい。また例えば、前回の揺動運動の周期Ｔａ２が、Ｔｂ１の推定値とされてもよい。また例えば、直近の揺動運動の周期の平均（Ｔａ１＋Ｔａ２＋Ｔａ３）／３、あるいは、（Ｔａ２＋Ｔａ３）／２が、Ｔｂ１の推定値とされてもよい。なお、周期Ｔｂ１の推定値は上述のものに限定されない。
【００８７】
また時刻ｔｂ１から開始される揺動運動の周期Ｔｂ２の推定方法も特に問わない。上述のように、（ｔａ０−ｔａ１）×２、（Ｔａ１＋Ｔａ２＋Ｔａ３）／３、（Ｔａ２＋Ｔａ３）／２などが、Ｔｂ２の推定値とされてもよい。図６には、時刻ｔｂ１より周期Ｔｂ２だけ後のタイミングが、ｔｂ２として示されている。
【００８８】
そして本実施形態では、推定された時刻ｔｂ１が、次の周期における馬オブジェクト７４ａの３次元アニメーションの開始タイミングとして決定される。すなわち、時刻ｔｂ１であるフレームに、図６に示す馬オブジェクト７４ａａが仮想空間７０に配置されることとなる。また周期Ｔｂ２が、次の周期における３次元アニメーションの周期として決定される。そのため、時刻（３ｔｂ１＋ｔｂ２）／４であるフレームに、馬オブジェクト７４ａｂが仮想空間７０に配置されることとなる。また、時刻（ｔｂ１＋ｔｂ２）／２であるフレームに、馬オブジェクト７４ａｃが仮想空間７０に配置されることとなる。また、時刻（ｔｂ１＋３ｔｂ２）／４であるフレームに、馬オブジェクト７４ａｄが仮想空間７０に配置されることとなる。そして上述のフレーム以外の、時刻ｔｂ１から時刻ｔｂ２までの間のフレームについては、前後のキーフレームの馬オブジェクト７４ａを補間することで生成される馬オブジェクト７４ａが仮想空間７０に配置されることとなる。
【００８９】
また本実施形態では、推定されたＴｂ２に基づいて、馬オブジェクト７４ａの移動速度が決定される。例えば、所定の距離Ｘを推定された周期Ｔｂ２で割った値が、馬オブジェクト７４ａの移動速度Ｖの値として決定される。なおここで所定の距離Ｘを推定された周期Ｔｂ１で割った値が、馬オブジェクト７４ａの移動速度Ｖの値として決定されてもよい。
【００９０】
また本実施形態では、例えば、所定の馬オブジェクト７４ａが仮想空間７０に配置されるタイミング、例えば、馬オブジェクト７４ａｂや７４ａｄが仮想空間７０に配置されるタイミングが、馬の蹄の音の出力指示の送信タイミングとして決定される。
【００９１】
また本実施形態では例えばフィットネス装置２６が停止している状態から動作している状態に変化したことをエンタテインメント装置１４が特定した場合は、仮想空間７０内における馬オブジェクト７４ａの移動が開始される。また逆に、フィットネス装置２６が動作している状態から停止している状態に変化したことをエンタテインメント装置１４が特定した場合は、仮想空間７０内における馬オブジェクト７４ａの移動が終了される。なおフィットネス装置２６の停止している状態から動作している状態への変化、及び、フィットネス装置２６の動作している状態から停止している状態への変化は、例えばコントローラ２２から受信するモーションデータを微分することで特定可能である。
【００９２】
このように本実施形態では、フィットネス装置２６が停止している状態から動作している状態に変化したことが特定されるタイミングと馬オブジェクト７４ａの仮想空間内における移動の開始タイミングとは同期することとなる。またフィットネス装置２６が動作している状態から停止している状態に変化したことが特定されるタイミングと馬オブジェクト７４ａの仮想空間内における移動の終了タイミングとは同期することとなる。
【００９３】
また本実施形態では、ユーザが手綱部２６ｂを操作することで、馬オブジェクト７４ａの進行方向を変更できるようになっている。
【００９４】
例えば図９に示すように、向きＱ３０を向いた馬オブジェクト７４ａが位置Ｐ３０に配置されていることとする。
【００９５】
そして例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを左手Ｌで柔らかく握ったとする。ここでは例えば、ユーザが手綱部２６ｂを、左手Ｌは強さＦ２よりも強い強さで、右手Ｒは強さＦ２よりも弱い強さで、握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことを認識する。
【００９６】
するとエンタテインメント装置１４は、例えばＺ２軸正方向から見て、Ｘ２−Ｙ２平面に沿って、向きＱ３０から反時計回りに角度θだけ回転させた向きＱ３１に沿って、位置Ｐ３０から距離Ｌだけ離れた位置Ｐ３１を特定する。そして次のフレームでは、向きＱ３１を向いた馬オブジェクト７４ａが位置Ｐ３１に配置されることとなる。このようにフィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを左手Ｌで柔らかく握った場合は、馬オブジェクト７４ａは左前に移動するよう制御されることとなる。
【００９７】
また例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを右手Ｒで柔らかく握ったとする。ここでは例えば、ユーザが手綱部２６ｂを右手Ｒは強さＦ２よりも強い強さで、左手Ｌは強さＦ２よりも弱い強さで、握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている右手Ｒの力の強さが強さＦ２よりも強く、左手Ｌの力の強さが強さＦ２よりも弱いことを認識する。
【００９８】
するとエンタテインメント装置１４は、例えばＺ２軸正方向から見て、Ｘ２−Ｙ２平面に沿って、向きＱ３０から時計回りに角度θだけ回転させた向きＱ３２に沿って、位置Ｐ３０から距離Ｌだけ離れた位置Ｐ３２を特定する。そして次のフレームでは、向きＱ３２を向いた馬オブジェクト７４ａが位置Ｐ３２に配置されることとなる。このようにフィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを右手Ｒで柔らかく握った場合は、馬オブジェクト７４ａは右前に移動するよう制御されることとなる。
【００９９】
なおユーザが手綱部２６ｂを握っている左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことも、右手Ｒの力の強さが強さＦ２よりも強く、左手Ｌの力の強さが強さＦ２よりも弱いことも認識されなかったとする。
【０１００】
この場合は、エンタテインメント装置１４は、例えば向きＱ３０に沿って、位置Ｐ３０から距離Ｌだけ離れた位置Ｐ３３を特定する。そして次のフレームでは、向きＱ３０を向いた馬オブジェクト７４ａが位置Ｐ３３に配置されることとなる。このようにユーザが手綱部２６ｂを左手Ｌで柔らかく握ったとも右手Ｒで柔らかく握ったとも認識されなかった場合は、馬オブジェクト７４ａはまっすぐ前に移動するよう制御されることとなる。
【０１０１】
なお以上の説明における距離Ｌは、例えば、馬オブジェクト７４ａの移動速度Ｖの値に基づいて特定される、１フレームあたりの馬オブジェクト７４ａの移動距離である。本実施形態では、距離Ｌの長さは、移動速度Ｖの値に比例する。
【０１０２】
以上のようにして本実施形態では、馬オブジェクト７４ａの位置Ｐ３や向きＱ３、及び、馬オブジェクト７４ａの姿勢や形状が制御されることとなる。
【０１０３】
本実施形態では、速度増加指示の送信からフィットネス装置２６の動作速度が実際に所望の速度になるまでの間には一定程度の時間がかかる。ここで例えばエンタテインメント装置１４が速度増加指示をフィットネス装置２６に送信するタイミングに、馬オブジェクト７４ａの移動速度を速くしたとする。この場合、ユーザは表示部４６に表示される映像から得られる仮想空間７０内における馬オブジェクト７４ａの移動速度が速くなったことの知覚に遅れてフィットネス装置２６の動作速度が速くなったことを知覚する。このような、ユーザが知覚するフィットネス装置２６の動作と当該ユーザに提供される映像や音声とが同期しない状況は、ユーザにとって違和感がある。
【０１０４】
一方本実施形態では上述のように、エンタテインメント装置１４が、コントローラ２２が送信するモーションデータによって特定されるフィットネス装置２６の動作速度の実際の変化に応じて、馬オブジェクト７４ａの移動速度が変化する。また本実施形態では、上述のように、ある期間におけるフィットネス装置２６の揺動運動の周期に基づいて、その後のフィットネス装置２６の揺動運動の周期及びその開始タイミングが推定される。そして推定された開始タイミングから、一完歩の動作を周期とする馬オブジェクト７４ａの３次元アニメーションが開始される。また推定された周期が、当該３次元アニメーションの周期となる。そのため本実施形態によれば、ユーザが知覚するフィットネス装置２６の動作と当該ユーザに提供される映像や音声とが同期することとなる。
【０１０５】
以下、ＨＭＤ１２の位置及び向きに基づく、仮想カメラ７２の視点の位置Ｐ４及び視線方向Ｑ４の制御についてさらに説明する。
【０１０６】
例えば図１０に示すように、初期状態における実空間内におけるＨＭＤ１２の位置がＰ２０であり、ＨＭＤ１２の向きがＱ２０であることとする。上述のように、向きＱ２０は、Ｘ１軸正方向である。そして初期状態における仮想カメラ７２の視点は位置Ｐ４０に配置され、視線方向Ｑ４０を向いていることとする。上述のように、視線方向Ｑ４０はＸ３軸正方向である。
【０１０７】
そしてあるフレームにおけるＨＭＤ１２の位置がＰ２１であり、向きがＱ２１である場合、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系において仮想カメラ７２の視点が位置Ｐ４１に配置され、視線方向Ｑ４１を向いていることとする。ここで、Ｘ１軸、Ｙ１軸、Ｚ１軸から構成される座標系において、位置Ｐ２０を視点として位置Ｐ２１を終点とするベクトルをベクトルａ１とする。またＸ３軸、Ｙ３軸、Ｚ３軸から構成される座標系において、位置Ｐ４０を視点として位置Ｐ４１を終点とするベクトルをベクトルａ２とする。
【０１０８】
この場合、ベクトルａ２は、ベクトルａ１に比例する。このように本実施形態では馬オブジェクト７４ａを基準とした仮想カメラ７２の位置Ｐ４は、ＨＭＤ１２の実空間内における位置Ｐ２に応じたものとなっている。またＸ１軸、Ｙ１軸、Ｚ１軸から構成される座標系における向きＱ２０を基準とした向きＱ２１の向きは、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成される座標系における向きＱ４０を基準とした向きＱ４１の向きと一致する。
【０１０９】
このように本実施形態では、ＨＭＤ１２の位置に応じた位置Ｐ４からＨＭＤ１２の向きに応じた視線方向Ｑ４を見た様子を示す映像がエンタテインメント装置１４で生成されることとなる。そして当該映像がＨＭＤ１２に送信されて、ＨＭＤ１２の表示部４６に表示されることとなる。
【０１１０】
また本実施形態では、エンタテインメント装置１４は、馬オブジェクト７４ａの移動速度に応じた風量で風を出力する指示を、ハブ装置２４を経由して送風機２８に送信する。送風機２８は当該指示に応じた風量の風を出力する。また本実施形態では、エンタテインメント装置１４は、馬オブジェクト７４ａの位置に応じた強さで香りを出力する指示を、ハブ装置２４を経由して芳香器３０に送信する。芳香器３０は当該指示に応じた風量の風を出力する。このようにすると、ユーザの乗馬における臨場感がさらに高まることとなる。
【０１１１】
以下、本実施形態に係るエンタテインメント装置１４の機能並びに本実施形態に係るエンタテインメント装置１４で実行される処理についてさらに説明する。なお本実施形態に係るエンタテインメント装置１４は、フィットネス装置２６の動作、及び、ＨＭＤ１２に送信される映像及び音声を制御する制御装置としての役割を担うこととなる。また本実施形態に係るエンタテインメント装置１４は、外部装置（本実施形態では例えば、フィットネス装置２６）と通信可能であり、また、当該外部装置とは別体である。
【０１１２】
図１１は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図１１に示す機能のすべてが実装される必要はなく、また、図１１に示す機能以外の機能が実装されていても構わない。
【０１１３】
図１１に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、仮想オブジェクトデータ記憶部９０、推定揺動データ記憶部９２、移動速度データ記憶部９４、移動方向データ記憶部９６、視点データ記憶部９８、圧力データ受付部１００、移動方向決定部１０２、動作指示決定部１０４、動作指示出力部１０６、コントローラモーションデータ受付部１０８、動作特定部１１０、推定部１１２、移動速度決定部１１４、仮想オブジェクト制御部１１６、ＨＭＤモーションデータ受付部１１８、視点制御部１２０、映像生成部１２２、映像送信部１２４、音声出力指示送信部１２６、を含んでいる。
【０１１４】
仮想オブジェクトデータ記憶部９０、推定揺動データ記憶部９２、移動速度データ記憶部９４、移動方向データ記憶部９６、視点データ記憶部９８は、記憶部６２を主として実装される。圧力データ受付部１００、動作指示出力部１０６、コントローラモーションデータ受付部１０８は、通信部６４を主として実装される。移動方向決定部１０２、動作指示決定部１０４、動作特定部１１０、推定部１１２、移動速度決定部１１４、仮想オブジェクト制御部１１６、視点制御部１２０、映像生成部１２２は、制御部６０を主として実装される。ＨＭＤモーションデータ受付部１１８、映像送信部１２４、音声出力指示送信部１２６は、入出力部６６を主として実装される。
【０１１５】
以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムを制御部６０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給される。
【０１１６】
仮想オブジェクトデータ記憶部９０は、本実施形態では、仮想空間７０や仮想オブジェクト７４に関するポリゴンデータやテクスチャデータなどの仮想オブジェクトデータを記憶する。仮想オブジェクトデータ記憶部９０は、本実施形態ではまた、仮想空間７０内における仮想オブジェクト７４の位置や向きを示すデータも記憶する。例えば、馬オブジェクト７４ａの位置及び向きを示す馬オブジェクト配置データが記憶される。馬オブジェクト配置データには、例えば、Ｘ２軸、Ｙ２軸、Ｚ２軸から構成されるグローバル座標系における、上述の位置Ｐ３の座標値、及び、上述の向きＱ３を表すベクトルの成分の値が含まれる。仮想オブジェクトデータ記憶部９０は、また、キーフレームの馬オブジェクト７４ａａ、７４ａｂ、７４ａｃ、及び、７４ａｄも記憶する。
【０１１７】
推定揺動データ記憶部９２は、本実施形態では、フィットネス装置２６の揺動運動の周期及びその開始タイミングの推定値を示すデータを記憶する。推定揺動データ記憶部９２は例えば、フィットネス装置２６の揺動運動の次の周期の長さ（例えば図８の周期Ｔｂ２）を示す推定周期データ、及び、当該次の周期の開始タイミング（例えば図８の時刻ｔｂ１）を示す推定開始タイミングデータを記憶する。
【０１１８】
移動速度データ記憶部９４は、本実施形態では、ユーザによる操作対象となる仮想オブジェクト７４、ここでは例えば馬オブジェクト７４ａの移動速度Ｖを示す移動速度データを記憶する。
【０１１９】
移動方向データ記憶部９６は、本実施形態では、ユーザによる操作対象となる仮想オブジェクト７４、ここでは例えば馬オブジェクト７４ａの移動方向を示す移動方向データを記憶する。本実施形態では、移動方向データは、「左前」、「まっすぐ」、又は、「右前」のいずれかの値をとることとする。
【０１２０】
視点データ記憶部９８は、本実施形態では、仮想カメラ７２に設定された視点の位置Ｐ４及び視線方向Ｑ４を示す視点データを記憶する。視点データは、例えば、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系における、位置Ｐ４の座標値及び視線方向Ｑ４を表すベクトルの成分の値を含んでいる。
【０１２１】
圧力データ受付部１００は、本実施形態では、フィットネス装置２６から出力される圧力データを、ハブ装置２４経由で受け付ける。圧力データ受付部１００は、例えば、所定のフレームレートで圧力データを受け付ける。
【０１２２】
移動方向決定部１０２は、本実施形態では、圧力データ受付部１００が受け付ける圧力データに基づいて、上述のようにして、移動方向データの値を決定する。そして移動方向決定部１０２は、移動方向データ記憶部９６に記憶されている移動方向データの値を、決定された値に更新する。移動方向決定部１０２は、例えば、所定のフレームレートで移動方向データの値を更新する。例えばユーザが手綱部２６ｂを握っている左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことが特定された際には、移動方向データの値は「左前」に更新される。また例えばユーザが手綱部２６ｂを握っている右手Ｒの力の強さが強さＦ２よりも強く、左の力の強さが強さＦ２よりも弱いことが特定された際には、移動方向データの値は「右前」に更新される。また左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことも、右手Ｒの力の強さが強さＦ２よりも強く、左手Ｌの力の強さが強さＦ２よりも弱いことも特定されなかった際には、移動方向データの値は「まっすぐ」に更新される。
【０１２３】
動作指示決定部１０４は、本実施形態では、圧力データ受付部１００が受け付ける圧力データに基づいて、上述のようにして、フィットネス装置２６に出力する動作指示を決定する。動作指示決定部１０４は、例えば、直近の所定数のフレームにおいて圧力データ受付部１００が受け付けた圧力データの値を保持する。そして、動作指示決定部１０４は、例えば、保持する圧力データの値に基づいて、動作開始指示、速度増加指示、速度減少指示などの動作指示を決定する。また本実施形態では、動作指示決定部１０４が、フィットネス装置２６の動作速度設定値を保持していることとする。
【０１２４】
動作指示出力部１０６は、本実施形態では、動作の指示を外部装置に出力する。動作指示出力部１０６は、例えば、動作指示決定部１０４による動作指示の決定に応じて、決定された動作指示を、ハブ装置２４経由で、フィットネス装置２６に出力する。
【０１２５】
また上述のように本実施形態では、動作指示出力部１０６は、ユーザによる外部装置（ここでは例えばフィットネス装置２６）に対する操作に応じた動作の指示を当該外部装置に出力する。この場合は、ユーザは外部装置を操作することで当該外部装置の動作を制御できることとなる。
【０１２６】
コントローラモーションデータ受付部１０８は、本実施形態では、コントローラ２２が送信する、フィットネス装置２６の回転量、移動量などを示すモーションデータを受け付ける。コントローラモーションデータ受付部１０８は、例えば、所定のフレームレートで当該モーションデータを受け付ける。
【０１２７】
動作特定部１１０は、本実施形態では、ユーザによって知覚される、動作の指示に応じた外部装置の動作を特定する。動作特定部１１０は、例えば、直近の所定数のフレームにおいてコントローラモーションデータ受付部１０８が受け付けたモーションデータの値を保持する。そして、動作特定部１１０は、例えば、保持するモーションデータの値に基づいて、フィットネス装置２６の動作を特定する。ここでは例えば、フィットネス装置２６の揺動運動の周期の開始タイミングである、時刻ｔａ３、ｔａ２、ｔａ１、及び現在時刻ｔａ０などが特定される。また例えば、フィットネス装置２６の停止している状態から動作している状態への変化やフィットネス装置２６の動作している状態から停止している状態への変化が特定される。
【０１２８】
推定部１１２は、本実施形態では例えば、動作特定部１１０が特定する、ある期間における外部装置の動作に基づいて、当該ある期間より後である、所定の映像又は音声に対応する、外部装置の動作の開始タイミングを推定する。ここで所定の映像としては、例えば、一完歩の動作を周期とする馬オブジェクト７４ａの３次元アニメーションの映像などが相当する。推定部１１２は例えば、上述したように、フィットネス装置２６の揺動運動の開始タイミングとして、図８に示す時刻ｔｂ１を推定する。またここで推定部１１２は、外部装置の単位動作が行われる時間の長さ、ここでは例えば、図８に示す、フィットネス装置２６の揺動運動の周期Ｔｂ２を推定してもよい。そして推定部１１２は、推定揺動データ記憶部９２に記憶されている推定周期データの値を、推定された周期Ｔｂ２に更新する。また推定部１１２は、推定揺動データ記憶部９２に記憶されている推定開始タイミングデータの値を、推定された時刻ｔｂ１に更新する。
【０１２９】
移動速度決定部１１４は、本実施形態では、外部装置の動作に基づいて、仮想オブジェクト７４の移動速度を決定する。移動速度決定部１１４は、例えば、推定部１１２が推定する周期Ｔｂ２に基づいて、馬オブジェクト７４ａの移動速度Ｖを決定する。そして移動速度決定部１１４は、移動速度データ記憶部９４に記憶されている移動速度データの値を、決定された移動速度Ｖの値に更新する。
【０１３０】
なお、推定部１１２によるフィットネス装置２６の揺動運動の周期及び開始タイミングの推定が行われるタイミングは特に問わない。例えば、フィットネス装置２６の揺動運動の周期が半分終了したタイミングや、所定のキーフレームの馬オブジェクト７４ａが配置されるタイミングに、上述の推定が行われるようにしてもよい。また同様に移動速度決定部１１４による、移動速度Ｖの更新タイミングも特に問わない。
【０１３１】
仮想オブジェクト制御部１１６は、本実施形態では、所定のフレームレートで、仮想空間７０内の馬オブジェクト７４ａの形状、姿勢、位置Ｐ３、向きＱ３を更新する。ここで位置Ｐ３の変化量や向きＱ３の変化量は、例えば、移動速度データ記憶部９４に記憶されている移動速度データの値、及び、移動方向データ記憶部９６に記憶されている移動方向データの値に基づいて、上述したように決定される。例えば、移動方向データの値が「左前」である場合は、馬オブジェクト７４ａは左前に移動するよう制御される。また例えば、移動方向データの値が「右前」である場合は、馬オブジェクト７４ａは右前に移動するよう制御される。また例えば、移動方向データの値が「まっすぐ」である場合は、馬オブジェクト７４ａはまっすぐ前に移動するよう制御される。
【０１３２】
また仮想オブジェクト制御部１１６は、本実施形態では、推定揺動データ記憶部９２に記憶されている推定開始タイミングデータが示す開始タイミングから始まる周期において、仮想空間７０に配置される馬オブジェクト７４ａを生成する。例えば上述のように、時刻ｔｂ１から時刻ｔｂ２までの間の各フレームにおいて、仮想空間７０に配置される馬オブジェクト７４ａが生成されることとなる。
【０１３３】
そして仮想オブジェクト制御部１１６は、本実施形態では、生成された馬オブジェクト７４ａを、配置されるフレームを示すデータに関連付けた上で、仮想オブジェクトデータ記憶部９０に記憶させる。なおここで、あるフレームを示すデータに関連付けられた生成された馬オブジェクト７４ａが既に記憶されている場合には、当該馬オブジェクト７４ａが更新されるようにしてもよい。このようにして記憶された馬オブジェクト７４ａは、関連付けられるフレームが到来するまで記憶され、当該フレームが到来した際に仮想空間７０に配置されることとなる。
【０１３４】
また仮想オブジェクト制御部１１６は、所定のタイミング、例えば、キーフレームの馬オブジェクト７４ａが配置されるタイミングを、次の周期における馬の蹄の音の出力指示の送信タイミングとして決定してもよい。
【０１３５】
ＨＭＤモーションデータ受付部１１８は、本実施形態では、ユーザが装着するＨＭＤ１２から、ＨＭＤ１２の位置及び向きを示すモーションデータを受け付ける。
【０１３６】
視点制御部１２０は、本実施形態では、ＨＭＤモーションデータ受付部１１８が受け付けるモーションデータに基づいて、上述のようにして、仮想カメラ７２の位置Ｐ４及び視線方向Ｑ４を決定する。そして視点制御部１２０は、本実施形態では、決定された位置Ｐ４及び視線方向Ｑ４に従って、仮想カメラ７２を仮想空間７０内に配置する。
【０１３７】
映像生成部１２２は、本実施形態では、ユーザが装着するＨＭＤ１２の向きと、特定される外部装置（ここでは例えばフィットネス装置２６）の動作に応じた映像を生成する。映像生成部１２２は、例えば、所定のフレームレートで上述の映像を生成する。映像生成部１２２は、例えば、特定される外部装置（ここでは例えばフィットネス装置２６）の動作に応じて動く馬オブジェクト７４ａが配置された仮想空間７０を、ＨＭＤ１２の向きに応じた仮想カメラ７２の視線方向Ｑ４から見た様子を表す映像を生成する。なお本実施形態では、仮想カメラ７２の視点の位置Ｐ４から視線方向Ｑ４から見た様子を表す映像が生成されることとなる。また映像生成部１２２は、推定部１１２が推定する開始タイミングに再生が開始される映像を生成することとなる。
【０１３８】
映像送信部１２４は、本実施形態では、映像生成部１２２が生成する映像をＨＭＤ１２に表示させる。映像送信部１２４は、例えば、所定のフレームレートで、映像生成部１２２が生成する映像をＨＭＤ１２に送信する。ＨＭＤ１２は、エンタテインメント装置１４から受信する映像を所定のフレームレートで表示部４６に表示させる。
【０１３９】
音声出力指示送信部１２６は、本実施形態では、音声をＨＭＤ１２から出力させる。音声出力指示送信部１２６は、例えば、所定のキーフレームの馬オブジェクト７４ａが仮想空間７０に配置されるタイミングに、馬の蹄の音の出力指示をＨＭＤ１２に送信する。ＨＭＤ１２は、例えば、エンタテインメント装置１４からの馬の蹄の音の出力指示の受信に応じて、馬の蹄の音を音声出力部５０から出力させる。
【０１４０】
本実施形態では、映像生成部１２２、映像送信部１２４、及び、音声出力指示送信部１２６が、推定される開始タイミングに所定の映像又は音声の再生を開始することで、当該所定の映像又は音声をユーザに提供する提供部としての役割を担うこととなる。また本実施形態では、推定される時間の長さ（例えば、周期Ｔｂ２）にて所定の映像又は音声がユーザに提供されることとなる。
【０１４１】
また本実施形態では、動作指示出力部１０６は、さらに、ユーザに提供される映像又は音声に応じた動作の指示を、上述の外部装置（ここでは例えばフィットネス装置２６）とは異なる外部装置（ここでは例えば送風機２８や芳香器３０）に出力する。このようにユーザに提供される映像又は音声に応じた風量による風の出力やユーザに提供される映像又は音声に応じた強さによる香りの出力が行われると、ユーザの乗馬における臨場感がさらに高まることとなる。
【０１４２】
以下、本実施形態に係るエンタテインメント装置１４において行われる、馬オブジェクト７４ａの移動速度の決定処理の流れの一例を、図１２に示すフロー図を参照しながら説明する。なお、以下においては、所定のキーフレームの馬オブジェクト７４ａが配置されるタイミングに、揺動運動の周期の長さＴ、及び、移動速度Ｖの決定が行われる場合についての処理の流れの一例を説明することとする。
【０１４３】
まず、コントローラモーションデータ受付部１０８が、コントローラ２２が送信する、フィットネス装置２６の回転量、移動量などを示すモーションデータを受け付ける（Ｓ１０１）。そして動作特定部１１０は、フィットネス装置２６が所定の状態であるか否かを確認する（Ｓ１０２）。ここでは例えばフィットネス装置２６の揺動運動の周期が半分終了した状態であるか否かが確認される。そして所定の状態ではないことが確認された場合は（Ｓ１０２：Ｎ）、Ｓ１０１に示す処理に戻る。
【０１４４】
一方、フィットネス装置２６が所定の状態であることが確認された場合は（Ｓ１０２：Ｙ）、動作特定部１１０が、保持しているモーションデータの値に基づいて、ある期間におけるフィットネス装置２６の揺動運動を特定する（Ｓ１０３）。ここでは例えば、時刻ｔａ３、時刻ｔａ２、時刻ｔａ１、時刻ｔａ０などが特定される。そして推定部１１２が、Ｓ１０３に示す処理で特定された、ある期間の揺動運動に基づいて、それ以後の揺動運動を推定する（Ｓ１０４）。ここでは例えば上述の開始タイミングｔｂ１、及び、周期Ｔｂ２が推定される。そして推定部１１２は、推定揺動データ記憶部９２に記憶されている推定周期データの値を、Ｓ１０３に示す処理で特定された周期Ｔｂ２に更新し、推定開始タイミングデータの値を、Ｓ１０３に示す処理で特定された時刻ｔｂ１に更新する（Ｓ１０５）。そして移動速度決定部１１４は、Ｓ１０５に示す処理で更新された周期Ｔｂ２に基づいて、馬オブジェクト７４ａの移動速度Ｖを決定する（Ｓ１０６）。そして移動速度決定部１１４は、移動速度データ記憶部９４に記憶されている移動速度データの値を、Ｓ１０６に示す処理で決定された移動速度Ｖの値に更新する（Ｓ１０７）。
【０１４５】
そして仮想オブジェクト制御部１１６が、次の周期における各フレームに配置される馬オブジェクト７４ａを生成する（Ｓ１０８）。そして仮想オブジェクト制御部１１６が、Ｓ１０８に示す処理で生成された馬オブジェクト７４ａを、配置されるフレームを示すデータに関連付けた上で、仮想オブジェクトデータ記憶部９０に記憶させて（Ｓ１０９）、Ｓ１０１に示す処理に戻る。
【０１４６】
なおＳ１０９に示す処理で、配置されるフレームを示すデータに関連付けられた馬オブジェクト７４ａが仮想オブジェクトデータ記憶部９０に既に記憶されている場合がある。この場合は、仮想オブジェクト制御部１１６は、当該馬オブジェクト７４ａを、Ｓ１０７に示す処理で生成された馬オブジェクト７４ａに更新してもよい。
【０１４７】
また推定揺動データ記憶部９２が、上述の周期Ｔｂ１及び周期Ｔｂ２を示す推定周期データを記憶してもよい。また推定部１１２は、上述の周期Ｔｂ１及び周期Ｔｂ２を示す推定周期データを推定揺動データ記憶部９２に記憶させてもよい。また移動速度決定部１１４は、推定部１１２が推定する周期Ｔｂ１に基づいて、馬オブジェクト７４ａの移動速度Ｖを決定してもよい。
【０１４８】
本処理例では、Ｓ１０１〜Ｓ１０８に示す処理が、所定のフレームレートで繰り返し実行されることとなる。
【０１４９】
以下、本実施形態に係るエンタテインメント装置１４において行われる、ＨＭＤ１２に送信される映像を構成するフレーム画像である表示画像８０の生成処理の流れの一例を、図１３に示すフロー図を参照しながら説明する。
【０１５０】
まずＨＭＤモーションデータ受付部１１８が、ＨＭＤ１２の位置及び向きを示すモーションデータを受け付ける（Ｓ２０１）。そして仮想オブジェクト制御部１１６が、当該フレームにおける馬オブジェクト７４ａの位置Ｐ３及び向きＱ３を特定する（Ｓ２０２）。位置Ｐ３及び向きＱ３は、例えば、直前のフレームにおける馬オブジェクト７４ａの位置Ｐ３及び向きＱ３、移動速度データ記憶部９４に記憶されている移動速度データ、及び、移動方向データ記憶部９６に記憶されている移動方向データに基づいて特定される。
【０１５１】
そして仮想オブジェクト制御部１１６は、Ｓ１０７に示す処理で生成された、当該フレームにおける馬オブジェクト７４ａを、Ｓ２０２に示す処理で特定された位置Ｐ３に、向きＱ３に沿って配置する（Ｓ２０３）。
【０１５２】
そして視点制御部１２０が、Ｓ２０１に示す処理で受け付けたモーションデータに基づいて、仮想カメラ７２の位置Ｐ４及び視線方向Ｑ４を決定する（Ｓ２０４）。そして視点制御部１２０が、Ｓ２０３に示す処理で配置された馬オブジェクト７４ａの位置Ｐ３及び向きＱ３、及び、Ｓ２０４に示す処理で決定された位置Ｐ４及び視線方向Ｑ４に基づいて、仮想空間７０内に仮想カメラ７２を配置する（Ｓ２０５）。
【０１５３】
そして、映像生成部１２２が、Ｓ２０５に示す処理で配置された仮想カメラ７２が、馬オブジェクト７４ａ等の仮想オブジェクト７４が配置された仮想空間７０を見た様子を示す表示画像８０を生成する（Ｓ２０６）。
【０１５４】
本処理例では、Ｓ２０１〜Ｓ２０６に示す処理が、所定のフレームレートで繰り返し実行されることとなる。
【０１５５】
なお、本発明は上述の実施形態に限定されるものではない。
【０１５６】
例えば、コントローラ２２から受信するモーションデータに基づいて特定される、仮想空間７０内における馬オブジェクト７４ａの位置や向きが、フィットネス装置２６の位置や向きに連動するようにしてもよい。例えば、実空間内における、コントローラ２２に設定された基準となる位置Ｐ１の変化に応じて、仮想空間７０内における、馬オブジェクト７４ａに設定された基準となる位置をＰ３が変化するようにしてもよい。また例えば、実空間内における、コントローラ２２の後方から前方に向かう基準となる方向をＱ１の変化に応じて、仮想空間７０内における、馬オブジェクト７４ａの後方から前方に向かう基準の向きをＱ３が変化するようにしてもよい。
【０１５７】
また例えば、カメラ２０ａが撮影する画像内におけるコントローラ２２の位置及び向きに基づいて、フィットネス装置２６の移動速度や揺動運動の周期が特定されるようにしてもよい。また同様にカメラ２０ａが撮影する画像内におけるＨＭＤ１２の位置及び向きに基づいて、仮想カメラ７２に設定された視点の位置Ｐ４及び視線方向Ｑ４が決定されるようにしてもよい。
【０１５８】
また例えば、着座部２６ａが圧力センサを備えていてもよい。そして例えば、ユーザが左に体を傾けたことに応じて、馬オブジェクト７４ａが左前に移動するようにしてもよい。また例えば、ユーザが右に体を傾けたことに応じて、馬オブジェクト７４ａが右前に移動するようにしてもよい。
【０１５９】
また例えば、ＨＭＤ１２を装着したユーザが頭部を激しく動かした際に、フィットネス装置２６の動作速度が遅くなる、あるいはフィットネス装置２６が停止するようにしてもよい。
【０１６０】
また例えば、ユーザの体が動きすぎているときや、ユーザの姿勢がよくない場合に、このことを表すアニメーション等のメッセージが表示部４６に表示されるようにしてもよい。あるいはこの場合に、メッセージの音声が音声出力部５０から出力されるようにしてもよい。
【０１６１】
また例えば、動作が制御される外部装置は、フィットネス装置２６である必要はなく、例えば、内蔵された可動式の球体部によるもみ上げやもみ下げが可能な、マッサージ機能を備えたクッション等の可動式のクッション、可動式の座布団、あるいは、可動式の椅子などであっても構わない。
【０１６２】
また本発明は、ユーザが知覚する装置の動作と当該ユーザに提供される映像や音声とを同期させる場面一般に適用可能である。例えば当該ユーザに提供される映像や音声と照明の明るさとが同期されるようにしてもよい。また例えば、外部装置が出力する画像や音や姿勢などと、ユーザに提供される映像や音声とが同期させるようにしてもよい。
【０１６３】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【符号の説明】
【０１６４】
１０  エンタテインメントシステム、１２  ヘッドマウントディスプレイ（ＨＭＤ）、１４  エンタテインメント装置、１６  中継装置、１８  ディスプレイ、２０  カメラマイクユニット、２０ａ  カメラ、２０ｂ  マイク、２２  コントローラ、２４  ハブ装置、２６  フィットネス装置、２６ａ  着座部、２６ｂ  手綱部、２８  送風機、３０  芳香器、４０  制御部、４２  記憶部、４４  入出力部、４６  表示部、４８  センサ部、５０  音声出力部、６０  制御部、６２  記憶部、６４  通信部、６６  入出力部、７０  仮想空間、７２  仮想カメラ、７４  仮想オブジェクト、７４ａ，７４ａａ，７４ａｂ，７４ａｃ，７４ａｄ  馬オブジェクト、７４ｂ  花オブジェクト、７４ｃ  きのこオブジェクト、７４ｄ  木オブジェクト、８０，８０ａ，８０ｂ，８０ｃ  表示画像、９０  仮想オブジェクトデータ記憶部、９２  推定揺動データ記憶部、９４  移動速度データ記憶部、９６  移動方向データ記憶部、９８  視点データ記憶部、１００  圧力データ受付部、１０２  移動方向決定部、１０４  動作指示決定部、１０６  動作指示出力部、１０８  コントローラモーションデータ受付部、１１０  動作特定部、１１２  推定部、１１４  移動速度決定部、１１６  仮想オブジェクト制御部、１１８  ＨＭＤモーションデータ受付部、１２０  視点制御部、１２２  映像生成部、１２４  映像送信部、１２６  音声出力指示送信部。
【図１】
0006713785.tif 000002
【図２Ａ】
0006713785.tif 000003
【図２Ｂ】
0006713785.tif 000004
【図３】
0006713785.tif 000005
【図４】
0006713785.tif 000006
【図５】
0006713785.tif 000007
【図６】
0006713785.tif 000008
【図７Ａ】
0006713785.tif 000009
【図７Ｂ】
0006713785.tif 000010
【図７Ｃ】
0006713785.tif 000011
【図８】
0006713785.tif 000012
【図９】
0006713785.tif 000013
【図１０】
0006713785.tif 000014
【図１１】
0006713785.tif 000015
【図１２】
0006713785.tif 000016
【図１３】
0006713785.tif 000017