(57)【要約】  ＶＲ酔いをより低減できるＶＲ酔い低減システム、ヘッドマウントディスプレイ、ＶＲ酔い低減方法及びプログラムを提供する。ＨＭＤ（１２）は、装着した際にユーザの眼前に配置される表示部（３８）を備える。揺動部（４２）は、ＨＭＤ（１２）を装着しているユーザの頭部を揺動可能である。エンタテインメント装置（１４）は、視点から見た様子を表す動画像を表示部（３８）に表示させる。エンタテインメント装置（１４）は、表示部（３８）に表示されている動画像における視点の加速状況に応じて、揺動部（４２）の揺動を制御する。
2020090477.tif 000002
【特許請求の範囲】
【請求項１】
装着した際にユーザの眼前に配置される表示部を備えたヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部と、
視点から見た様子を表す動画像を前記表示部に表示させる表示制御部と、
前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記揺動部の揺動を制御する揺動制御部と、
を含むことを特徴とするＶＲ酔い低減システム。
【請求項２】
前記揺動制御部は、前記表示部に表示されている前記動画像が、前記視点が加速している状況を表すものであるか否かに応じて、前記揺動部を揺動させるか否かを制御する、
ことを特徴とする請求項１に記載のＶＲ酔い低減システム。
【請求項３】
前記表示制御部は、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す前記動画像を前記表示部に表示させ、
前記仮想カメラが前記仮想空間内において加速度運動をしているか否かを判定する判定部、をさらに含み、
前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御する、
ことを特徴とする請求項２に記載のＶＲ酔い低減システム。
【請求項４】
前記動画像を示す動画像データと、当該動画像において前記視点が加速している状況が表れているフレーム画像を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部、をさらに含み、
前記表示制御部は、前記揺動制御動画像データに含まれる前記動画像データが示す動画像を前記表示部に表示させ、
前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記視点が加速している状況が表れているフレーム画像が前記表示部に表示されているか否かを判定する判定部、をさらに含み、
前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御する、
ことを特徴とする請求項２に記載のＶＲ酔い低減システム。
【請求項５】
前記動画像データに基づいて、前記揺動制御データを生成する揺動制御データ生成部、をさらに含む、
ことを特徴とする請求項４に記載のＶＲ酔い低減システム。
【請求項６】
仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す動画像を示す前記動画像データと、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かの判定の結果に基づいて生成される前記揺動制御データと、を含む前記揺動制御動画像データを生成する揺動制御動画像データ生成部、をさらに含む、
ことを特徴とする請求項４に記載のＶＲ酔い低減システム。
【請求項７】
前記表示制御部は、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す前記動画像を前記表示部に表示させ、
前記仮想カメラが前記仮想空間内において加速度運動をしているか否かを判定する判定部、をさらに含み、
前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御する、
ことを特徴とする請求項１に記載のＶＲ酔い低減システム。
【請求項８】
前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想カメラの画角内の前記仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御する、
ことを特徴とする請求項７に記載のＶＲ酔い低減システム。
【請求項９】
前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想カメラに最も近い前記仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御する、
ことを特徴とする請求項７又は８に記載のＶＲ酔い低減システム。
【請求項１０】
前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部を揺動させるか否かを制御する、
ことを特徴とする請求項７から９のいずれか一項に記載のＶＲ酔い低減システム。
【請求項１１】
前記揺動制御部は、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動量を制御する、
ことを特徴とする請求項７から９のいずれか一項に記載のＶＲ酔い低減システム。
【請求項１２】
前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部の揺動を制御する、
ことを特徴とする請求項１に記載のＶＲ酔い低減システム。
【請求項１３】
前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部を揺動させるか否かを制御する、
ことを特徴とする請求項１２に記載のＶＲ酔い低減システム。
【請求項１４】
前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部の揺動量を制御する、
ことを特徴とする請求項１２に記載のＶＲ酔い低減システム。
【請求項１５】
前記動画像を示す動画像データと、当該動画像における前記視点の加速状況を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部、をさらに含み、
前記表示制御部は、前記揺動制御動画像データに含まれる前記動画像データが示す動画像を前記表示部に表示させ、
前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記表示部に表示されている動画像における前記視点の加速状況を判定する判定部、をさらに含み、
前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部の揺動を制御する、
ことを特徴とする請求項１に記載のＶＲ酔い低減システム。
【請求項１６】
前記動画像データに基づいて、前記揺動制御データを生成する揺動制御データ生成部、をさらに含む、
ことを特徴とする請求項１５に記載のＶＲ酔い低減システム。
【請求項１７】
仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す動画像を示す前記動画像データと、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かの判定の結果に基づいて生成される前記揺動制御データと、を含む前記揺動制御動画像データを生成する揺動制御動画像データ生成部、をさらに含む、
ことを特徴とする請求項１５に記載のＶＲ酔い低減システム。
【請求項１８】
前記揺動部は、前記ヘッドマウントディスプレイの筐体の前面に設けられている、
ことを特徴とする請求項１から１７のいずれか一項に記載のＶＲ酔い低減システム。
【請求項１９】
装着した際にユーザの眼前に配置される表示部と、
前記ユーザの頭部を揺動可能な揺動部と、
視点から見た様子を表す動画像を前記表示部に表示させる表示制御部と、
前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記揺動部の揺動を制御する揺動制御部と、
を含むことを特徴とするヘッドマウントディスプレイ。
【請求項２０】
ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、視点から見た様子を表す動画像を表示させるステップと、
前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部の揺動を制御するステップと、
を含むことを特徴とするＶＲ酔い低減方法。
【請求項２１】
ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、視点から見た様子を表す動画像を表示させる手順、
前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部の揺動を制御する手順、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＶＲ酔い低減システム、ヘッドマウントディスプレイ、ＶＲ酔い低減方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、仮想環境におけるイベントとは無関係な低周波振動を使用してバーチャルリアリティ（ＶＲ）によって引き起こされる酔い（いわゆるＶＲ酔い）を低減する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１５／０３２５０２７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明者らは、ヘッドマウントディスプレイ（ＨＭＤ）の筐体の前面に設けられる振動モータなどを用いてＨＭＤを装着しているユーザの頭部を揺動させることでＶＲ酔いを低減する技術を検討している。ＶＲ酔いは、視点から見た様子を表す動画像がユーザの眼前に配置されているＨＭＤの表示部に表示されている状況における、当該視点の動きとユーザの体感とのずれが引き起こすものと考えられている。そのため表示される動画像と頭部の揺動とを連携させることで、ＶＲ酔いをより低減できるものと思われる。【０００５】
しかし特許文献１に記載の技術では、上述のように仮想環境におけるイベントとは無関係な低周波振動を使用してＶＲ酔いを低減しており、ＶＲ酔いを低減させることを目的としたＨＭＤの表示と振動との連携は行われていない。【０００６】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ＶＲ酔いをより低減できるＶＲ酔い低減システム、ヘッドマウントディスプレイ、ＶＲ酔い低減方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係るＶＲ酔い低減システムは、装着した際にユーザの眼前に配置される表示部を備えたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部と、視点から見た様子を表す動画像を前記表示部に表示させる表示制御部と、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記揺動部の揺動を制御する揺動制御部と、を含む。【０００８】
本発明の一態様では、前記揺動制御部は、前記表示部に表示されている前記動画像が、前記視点が加速している状況を表すものであるか否かに応じて、前記揺動部を揺動させるか否かを制御する。【０００９】
この態様では、前記表示制御部は、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す前記動画像を前記表示部に表示させ、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かを判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御してもよい。【００１０】
あるいは、前記動画像を示す動画像データと、当該動画像において前記視点が加速している状況が表れているフレーム画像を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部、をさらに含み、前記表示制御部は、前記揺動制御動画像データに含まれる前記動画像データが示す動画像を前記表示部に表示させ、前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記視点が加速している状況が表れているフレーム画像が前記表示部に表示されているか否かを判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御してもよい。【００１１】
この態様では、前記動画像データに基づいて、前記揺動制御データを生成する揺動制御データ生成部、をさらに含んでいてもよい。【００１２】
あるいは、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す動画像を示す前記動画像データと、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かの判定の結果に基づいて生成される前記揺動制御データと、を含む前記揺動制御動画像データを生成する揺動制御動画像データ生成部、をさらに含んでいてもよい。【００１３】
また、本発明の一態様では、前記表示制御部は、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す前記動画像を前記表示部に表示させ、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かを判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御する。【００１４】
この態様では、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想カメラの画角内の前記仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御してもよい。【００１５】
また、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想カメラに最も近い前記仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御してもよい。【００１６】
また、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部を揺動させるか否かを制御してもよい。【００１７】
あるいは、前記揺動制御部は、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動量を制御してもよい。【００１８】
また、本発明の一態様では、前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部の揺動を制御する。【００１９】
この態様では、前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部を揺動させるか否かを制御してもよい。【００２０】
あるいは、前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部の揺動量を制御してもよい。【００２１】
また、本発明の一態様では、前記動画像を示す動画像データと、当該動画像における前記視点の加速状況を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部、をさらに含み、前記表示制御部は、前記揺動制御動画像データに含まれる前記動画像データが示す動画像を前記表示部に表示させ、前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記表示部に表示されている動画像における前記視点の加速状況を判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部の揺動を制御する。【００２２】
この態様では、前記動画像データに基づいて、前記揺動制御データを生成する揺動制御データ生成部、をさらに含んでいてもよい。【００２３】
あるいは、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す動画像を示す前記動画像データと、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かの判定の結果に基づいて生成される前記揺動制御データと、を含む前記揺動制御動画像データを生成する揺動制御動画像データ生成部、をさらに含んでいてもよい。【００２４】
また、本発明の一態様では、前記揺動部は、前記ヘッドマウントディスプレイの筐体の前面に設けられている。【００２５】
また、本発明に係るヘッドマウントディスプレイは、装着した際にユーザの眼前に配置される表示部と、前記ユーザの頭部を揺動可能な揺動部と、視点から見た様子を表す動画像を前記表示部に表示させる表示制御部と、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記揺動部を揺動させるか否かを制御する揺動制御部と、を含む。【００２６】
また、本発明に係るＶＲ酔い低減方法は、ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、視点から見た様子を表す動画像を表示させるステップと、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部を揺動させるか否かを制御するステップと、を含む。【００２７】
また、本発明に係るプログラムは、ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、視点から見た様子を表す動画像を表示させる手順、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部を揺動させるか否かを制御する手順、をコンピュータに実行させる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成の一例を示す図である。
【図２Ａ】本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。
【図２Ｂ】本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。
【図３】仮想空間の一例を示す図である。
【図４】揺動制御動画像データのデータ構造の一例を模式的に示す図である。
【図５】本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。
【図６】本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
【図７】本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
【図８】仮想空間の一例を示す図である。
【図９】本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
【図１０】本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００２９】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００３０】
図１は、本発明の一実施形態に係るエンタテインメントシステム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。
【００３１】
図１に示すように、本実施形態に係るエンタテインメントシステム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。
【００３２】
本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、プロセッサ３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、揺動部４２、が含まれる。
【００３３】
プロセッサ３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
【００３４】
記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。
【００３５】
通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
【００３６】
入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。
【００３７】
表示部３８は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。図１に示すように、表示部３８は、ＨＭＤ１２をユーザが装着した際に当該ユーザの眼前に配置される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
【００３８】
センサ部４０は、例えば、加速度センサやモーションセンサなどのセンサである。センサ部４０は、ＨＭＤ１２の姿勢、回転量、移動量などの計測結果を所定のサンプリングレートで、プロセッサ３０に出力してもよい。
【００３９】
揺動部４２は、本実施形態では、例えば入力される信号に応じて揺動するデバイスである。図１に示すように本実施形態では揺動部４２は、ＨＭＤ１２の筐体４４の前面に設けられている。揺動部４２は、例えば、振動モータなどの振動子であってもよい。また揺動部４２が偏心モータである場合に、入力される信号に応じて揺動部４２に含まれる錘が概ね前後方向に沿った軸として回転することにより、揺動部４２が振動するようにしてもよい。
【００４０】
図１の例では揺動部４２はＨＭＤ１２の筐体４４の前面中央に１つ設けられている。そして揺動部４２は、ＨＭＤ１２を装着しているユーザの頭部を揺動可能である。なおＨＭＤ１２に揺動部４２が複数設けられていてもよい。またこの場合、複数の揺動部４２が左右対称に設けられていてもよい。
【００４１】
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されている、あるいは、光ディスクに記録された、ゲームプログラムの実行やコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由してディスプレイ１８に出力する。
【００４２】
本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、プロセッサ５０、記憶部５２、通信部５４、入出力部５６が含まれる。
【００４３】
プロセッサ５０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ５０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００４４】
記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２には、プロセッサ５０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部５２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００４５】
通信部５４は、例えば無線ＬＡＮモジュールなどの通信インタフェースなどである。
【００４６】
入出力部５６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
【００４７】
本実施形態に係る中継装置１６は、例えば制御回路、画像処理回路、音声処理回路等の制御部、メモリ等の記憶部、などを備えたコンピュータである。中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力する。
【００４８】
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
【００４９】
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
【００５０】
ＨＭＤ１２と中継装置１６とは、例えば、無線によるデータの送受信が互いに可能になっている。なおＨＭＤ１２と中継装置１６とが、ＨＤＭＩケーブルやＵＳＢケーブルなどの有線を介して接続されていてもよい。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
【００５１】
本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。
【００５２】
本実施形態では例えば、エンタテインメント装置１４において一人称視点のゲームのプログラムが実行される。そして例えば、図３に示す仮想空間６０に配置されている仮想カメラ６２から撮影方向６４を見た様子を表す動画像が生成される。ここでは例えば、所定のフレームレートで、当該フレームにおける仮想カメラ６２の位置から撮影方向６４を見た様子を表すフレーム画像が生成される。また図３に示す仮想空間６０は、仮想三次元空間である。仮想カメラ６２の位置や撮影方向６４は、例えばプレイヤによるコントローラ２２の操作やゲームにおいて発生するイベントなどといったゲームのプレイ状況に応じて変化する。仮想カメラ６２の位置や撮影方向６４の変化に応じてＨＭＤ１２の表示部３８に表示されるコンテンツは変化する。仮想カメラ６２の位置や撮影方向６４の更新、フレーム画像の生成、及び、フレーム画像の表示を含む、ゲームのプレイ状況に応じた処理が、上述の所定のフレームレートで実行されてもよい。
【００５３】
そして本実施形態では例えば、仮想カメラ６２の動きに基づいて、仮想カメラ６２が加速度運動をしているか否かが判定される。ここで加速度運動とは、例えば、円運動、等加速度運動、変加速度運動などを指す。なお当該加速度運動が指す運動に、等角加速度運動、変角加速度運動などといった角加速度運動が含まれてもよいし、含まれなくてもよい。例えば一人称視点のゲームにおいては、一人称視点のキャラクタがジャンプしたりダッシュしたりする際に、仮想カメラ６２が加速度運動をしていると判定される。ここで例えば、直近の所定数のフレームにおける仮想カメラ６２の位置や撮影方向６４に基づいて、仮想カメラ６２が加速度運動をしているか否かが判定されてもよい。
【００５４】
そして当該判定の結果に応じて、揺動部４２の揺動（例えば、揺動部４２を揺動させるか否か）が制御される。ここで揺動部４２が振動モータである場合、周波数帯としては１０〜２０ヘルツ、加速度値（Ｇ値）としては０．０５〜０．５Ｇとなるよう振動モータが振動するよう制御されてもよい。
【００５５】
以上のように本実施形態では、表示部３８に表示されている動画像が、仮想カメラ６２が加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かが制御される。
【００５６】
ＨＭＤ１２を装着しているユーザの酔い（いわゆるＶＲ酔い）は、視点から見た様子を表す動画像がユーザの眼前に配置されている表示部３８に表示されている状況における、当該視点の動きとユーザの体感とのずれが引き起こすものと考えられている。上述の例では、当該視点の位置が仮想カメラ６２の位置に相当する。また、当該視点の向きが撮影方向６４に相当する。すなわち上述の例におけるＶＲ酔いは、仮想カメラ６２の動きとユーザの体感とのずれが引き起こすものと考えられている。特に感覚器官が集中している頭部の体感はＶＲ酔いに与える影響が大きいものと思われる。
【００５７】
本実施形態では、表示部３８に表示されている動画像における視点の加速状況に応じて、揺動部４２の揺動が制御される。例えば、以上で説明したように、表示部３８に表示されている動画像が、視点が加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かが制御される。このようにして本実施形態によれば、表示される動画像と頭部の揺動とを連携させることで、ＶＲ酔いをより低減できることとなる。
【００５８】
なお本発明は、仮想カメラ６２によって撮影される仮想空間６０の動画像が表示部３８に表示される場面だけでなく、実カメラによって撮影される実空間の動画像が表示部３８に表示される場面においても同様に適用可能である。例えば、当該実カメラが加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かが制御されるようにしてもよい。また本発明は、実カメラや仮想カメラ６２によって撮影される動画像ではない、映画コンテンツの動画像などといった、視点から見た様子を表す一般的な動画像についても同様に適用可能である。
【００５９】
また上述のように、本実施形態に係る揺動部４２は、ＨＭＤ１２の筐体４４の前面に設けられている。そのため、揺動部４２をＨＭＤ１２に容易に取り付けることができる。
【００６０】
なお、揺動部４２は、ＨＭＤ１２を装着しているユーザの頭部を揺動可能であれば、ＨＭＤ１２の筐体４４の前面に設けられている必要はない。例えば、揺動部４２が筐体４４の内側の面に設けられていてもよい。また、揺動部４２がＨＭＤ１２に設けられている必要もない。
【００６１】
図４は、本実施形態に係る揺動制御動画像データ６６のデータ構造の一例を模式的に示す図である。本実施形態において、図４に示す揺動制御動画像データ６６が生成されるようにしてもよい。揺動制御動画像データ６６には、例えば、動画像データ６８と、揺動制御データ７０と、が含まれる。
【００６２】
動画像データ６８は、例えば、再生することにより表示部３８に表示される、視点から見た様子を表す動画像を示すデータである。ここで例えば、以上で説明した仮想カメラ６２の動きに応じて生成される動画像が表示部３８に表示されるようにしつつ、当該動画像を示す動画像データ６８が生成されるようにしてもよい。
【００６３】
揺動制御データ７０は、例えば、動画像データ６８が示す動画像における視点の加速状況を特定可能なデータである。揺動制御データ７０は、例えば、動画像データ６８が示す動画像において視点が加速している状況が表れているフレーム画像を特定可能なデータであってもよい。
【００６４】
本実施形態では例えば、動画像データ６８には、所定のフレームレートで生成される複数のフレーム画像が含まれることとする。また本実施形態では、揺動制御データ７０には、それぞれフレーム画像に関連付けられるフレーム揺動制御データが複数含まれることとする。フレーム揺動制御データは、関連付けられるフレーム画像が、視点が加速している状況を表すものである場合は１が設定され、視点が加速している状況を表すものでない場合は０が設定されるフラグであってもよい。図４に示す揺動制御データ７０では、視点が加速している状況が表れているフレーム画像に関連付けられるフレーム揺動制御データ、すなわち値が１であるフレーム揺動制御データは黒塗りで模式的に表現されている。
【００６５】
なお、揺動制御データ７０のデータ形式は上述のものに限定されない。例えば、揺動制御データ７０が、視点が加速している状況が表れているフレーム画像のフレーム番号を示すデータであってもよい。
【００６６】
揺動制御データ７０は、例えば、動画像データ６８が示す動画像を見ながらオペレータが行う操作に応じて設定されてもよい。例えば視点が加速している状況が表れているとオペレータが判断したフレーム画像について、当該オペレータが当該フレーム画像に関連付けられるフレーム揺動制御データの値として１を設定する操作を行ってもよい。そして当該操作に応じて、当該フレーム揺動制御データの値として１が設定されてもよい。
【００６７】
また例えば、画像解析技術を用いることで、動画像データ６８に基づいて、それぞれのフレーム画像について、視点が加速している状況が表れているフレーム画像であるか否かが判定されるようにしてもよい。例えば視点が加速している状況が表れているフレーム画像であるか否かが、当該フレーム画像までの連続する所定数のフレーム画像に基づいて判定されるようにしてもよい。そして当該特定の結果に基づいて、揺動制御データ７０が生成されるようにしてもよい。
【００６８】
また例えば、上述した、仮想カメラ６２の動きに基づく仮想カメラ６２が加速度運動をしているか否かの判定の結果に基づいて、揺動制御データ７０が生成されるようにしてもよい。例えば上述の例において揺動部４２が揺動するよう制御されるタイミングに表示されるフレーム画像に関連付けられるフレーム揺動制御データの値として１が設定されるようにしてもよい。
【００６９】
そして本実施形態において例えば、揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像の再生に応じて、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に基づく揺動制御が行われるようにしてもよい。例えば、揺動制御データ７０に基づいて、視点が加速している状況が表れているフレーム画像が表示部３８に表示されているか否かが判定されてもよい。そして視点が加速している状況が表れているフレーム画像が表示されていると判定された際に、揺動部４２が揺動するよう制御されてもよい。例えば表示部３８に表示されるフレーム画像に関連付けられるフレーム揺動制御データの値が１である場合に、揺動部４２が揺動するようにしてもよい。
【００７０】
また例えば、視点の加速度値又は角加速度値が判定されるようにしてもよい。そして当該加速度値又は角加速度値に応じた揺動制御が行われるようにしてもよい。例えば加速度値又は角加速度値が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。また逆に、表示部３８に表示されている動画像が、視点が加速している状況を表すものである際に、視点の加速度値又は角加速度値に関係なく、揺動部４２が所定の大きさの揺動をするよう制御されてもよい。
【００７１】
また例えばゲーム配信の場面において、ゲームのプレイ中にリアルタイムで揺動制御動画像データ６６の生成、及び、ネットワークを介して接続された他のエンタテインメントシステム１０への当該揺動制御動画像データ６６の送信が行われるようにしてもよい。そして揺動制御動画像データ６６を受信したエンタテインメントシステム１０において、当該揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像が表示されるようにしてもよい。また揺動制御動画像データ６６を受信したエンタテインメントシステム１０において、上述のような、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に基づく、表示される動画像と連携した揺動部４２の揺動制御が行われるようにしてもよい。
【００７２】
以下、本実施形態に係るエンタテインメント装置１４で実装される機能、及び、本実施形態に係るエンタテインメント装置１４で行われる処理について、さらに説明する。
【００７３】
図５は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。
【００７４】
図５に示すように、本実施形態に係るエンタテインメント装置１４には、機能的には例えば、プログラム実行部８０、動画像データ生成部８２、判定部８４、揺動制御データ生成部８６、揺動制御動画像データ生成部８８、揺動制御動画像データ記憶部９０、揺動制御動画像データ取得部９２、表示制御部９４、揺動制御部９６、が含まれる。
【００７５】
プログラム実行部８０、動画像データ生成部８２、判定部８４、揺動制御データ生成部８６、揺動制御動画像データ生成部８８は、プロセッサ５０を主として実装される。揺動制御動画像データ記憶部９０は、記憶部５２を主として実装される。揺動制御動画像データ取得部９２は、プロセッサ３０又は通信部５４を主として実装される。表示制御部９４、揺動制御部９６は、プロセッサ５０及び入出力部５６を主として実装される。
【００７６】
そして以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ５０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給される。
【００７７】
プログラム実行部８０は、本実施形態では例えば、ゲームのプログラムなどのプログラムを実行する。
【００７８】
動画像データ生成部８２は、本実施形態では例えば、ゲームのプレイ状況に応じた動画像などといった、プログラム実行部８０によるプログラムの実行結果に応じた動画像を示す動画像データ６８を生成する。動画像データ生成部８２は、仮想空間６０内に配置された仮想カメラ６２から仮想空間６０を見た様子を表す動画像を生成してもよい。
【００７９】
判定部８４は、本実施形態では例えば、表示部３８に表示されているフレーム画像における視点の加速状況を判定する。ここで判定部８４は、視点が加速している状況が表れているフレーム画像が表示部３８に表示されているか否かを判定してもよい。判定部８４は、例えば、仮想カメラ６２が仮想空間６０内において加速度運動をしているか否かを判定してもよい。ここで上述のように、当該加速度運動が指す運動に、角加速度運動が含まれてもよいし、含まれなくてもよい。
【００８０】
揺動制御データ生成部８６は、本実施形態では例えば、上述の揺動制御データ７０を生成する。揺動制御データ生成部８６は、判定部８４による、仮想空間６０内に配置された仮想カメラ６２が仮想空間６０内において加速度運動をしているか否かの判定の結果に基づいて、揺動制御データ７０を生成してもよい。
【００８１】
また、揺動制御データ生成部８６は、視点から見た様子を表す動画像を示す動画像データ６８に基づいて、揺動制御データ７０を生成してもよい。例えば揺動制御データ生成部８６は、動画像データ生成部８２が生成する動画像データ６８に基づいて、揺動制御データ７０を生成してもよい。
【００８２】
揺動制御動画像データ生成部８８は、本実施形態では例えば、上述の揺動制御動画像データ６６を生成する。ここで揺動制御動画像データ生成部８８が、例えば、動画像データ生成部８２が生成する動画像データ６８と、揺動制御データ生成部８６が生成する揺動制御データ７０と、を含む揺動制御動画像データ６６を生成してもよい。ここで当該動画像データ６８が、仮想カメラ６２から仮想空間６０を見た様子を表す動画像を示すデータであり、当該揺動制御データ７０が、仮想カメラ６２が仮想空間６０内において加速度運動をしているか否かの判定の結果に応じたデータであってもよい。
【００８３】
また揺動制御動画像データ６６に含まれる動画像データ６８は、プログラム実行部８０によるプログラムの実行結果に応じた動画像を示す動画像データ６８である必要はない。揺動制御動画像データ６６に含まれる動画像データ６８は、例えば上述のように、実カメラによって撮影される実空間の動画像を示す動画像データ６８であってもよい。また動画像データ６８は、ゲームのプレイ状況に応じた動画像を示すものである必要はなく、例えば、映画等のコンテンツの動画像を示すものであってもよい。また動画像データ６８が示す動画像は、実カメラや仮想カメラ６２により撮影される動画像である必要もない。
【００８４】
揺動制御動画像データ記憶部９０は、本実施形態では例えば、上述の揺動制御動画像データ６６を記憶する。ここで揺動制御動画像データ記憶部９０が、揺動制御動画像データ生成部８８が生成する揺動制御動画像データ６６を記憶してもよい。
【００８５】
また揺動制御動画像データ６６はユーザによって購入可能であってもよい。そしてユーザによって購入された揺動制御動画像データ６６が揺動制御動画像データ記憶部９０に記憶されてもよい。
【００８６】
揺動制御動画像データ取得部９２は、本実施形態では例えば、揺動制御動画像データ６６を取得する。ここで揺動制御動画像データ取得部９２が、揺動制御動画像データ記憶部９０に記憶されている揺動制御動画像データ６６を取得してもよい。また揺動制御動画像データ取得部９２が、他のエンタテインメントシステム１０から送信される揺動制御動画像データ６６を受信してもよい。
【００８７】
表示制御部９４は、本実施形態では例えば、視点から見た様子を表す動画像を表示部３８に表示させる。ここで例えば、表示制御部９４は、中継装置１６を経由してＨＭＤ１２に当該動画像を送信してもよい。そしてＨＭＤ１２が、受信した動画像を表示部３８に表示させてもよい。
【００８８】
また、表示制御部９４は、仮想空間６０内に配置された仮想カメラ６２から仮想空間６０を見た様子を表す動画像を表示部３８に表示させてもよい。また表示制御部９４は、実空間内に配置された実カメラから実空間を見た様子を表す動画像を表示部３８に表示させてもよい。
【００８９】
また、表示制御部９４は、揺動制御動画像データ取得部９２が取得する揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像を表示部３８に表示させてもよい。
【００９０】
揺動制御部９６は、本実施形態では例えば、表示部３８に表示されている動画像における視点の加速状況に応じて、揺動部４２の揺動を制御する。揺動制御部９６は、表示部３８に表示されている、視点から見た様子を表す動画像が、当該視点が加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かを制御してもよい。ここで例えば、揺動制御部９６は、揺動部４２を制御するための制御信号を、中継装置１６を経由してＨＭＤ１２に送信してもよい。そしてＨＭＤ１２は、受信した制御信号に基づいて揺動部４２の揺動制御を行ってもよい。
【００９１】
また揺動制御部９６は、判定部８４による判定の結果に応じて、揺動部４２を揺動させるか否かを制御してもよい。
【００９２】
また判定部８４が、揺動制御動画像データ取得部９２が取得する揺動制御動画像データ６６に含まれる揺動制御データ７０に基づいて、視点が加速している状況が表れているフレーム画像が表示部３８に表示されているか否かを判定してもよい。例えば表示されるフレーム画像に関連付けられているフレーム揺動制御データの値が１である場合に、視点が加速している状況が表れているフレーム画像が表示部３８に表示されていると判定されてもよい。そして揺動制御部９６は、判定部８４による当該判定の結果に応じて、揺動部４２を揺動させるか否かを制御してもよい。
【００９３】
ここで、本実施形態に係るエンタテインメント装置１４において行われる処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。図６に示す処理例は、仮想カメラ６２の動きに基づく、揺動部４２の揺動制御処理の流れの一例である。なお本処理例では、揺動制御動画像データ生成部８８によって予め生成された空の揺動制御動画像データ６６が、揺動制御動画像データ記憶部９０に記憶されていることとする。
【００９４】
また図６に示すＳ１０１〜Ｓ１０７に示す処理は、所定のフレームレートで繰り返し実行される。
【００９５】
まず、プログラム実行部８０が、コントローラ２２から受け付ける操作信号やゲームにおいて発生したイベントなどを含むゲームのプレイ状況に基づいて、仮想カメラ６２の位置及び撮影方向６４を変更する（Ｓ１０１）。
【００９６】
そして動画像データ生成部８２が、仮想カメラ６２から撮影方向６４を見た様子を表すフレーム画像を生成する（Ｓ１０２）。
【００９７】
そして判定部８４が、仮想カメラ６２が加速度運動をしているか否かを判定する（Ｓ１０３）。
【００９８】
ここで仮想カメラ６２が加速度運動をしていると判定されたとする（Ｓ１０３：Ｙ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ１０４）。この場合は、揺動部４２は揺動する。
【００９９】
一方、仮想カメラ６２が加速度運動をしていないと判定されたとする（Ｓ１０３：Ｎ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ１０５）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
【０１００】
Ｓ１０４又はＳ１０５に示す処理が終了すると、揺動制御データ生成部８６が、Ｓ１０３に示す処理における判定結果に応じた、本ループにおけるフレーム揺動制御データを生成する（Ｓ１０６）。ここでは例えば本ループにおいてＳ１０４に示す処理が実行された場合は、値が１であるフレーム揺動制御データが生成される。また例えば本ループにおいてＳ１０５に示す処理が実行された場合は、値が０であるフレーム揺動制御データが生成される。
【０１０１】
そして、揺動制御動画像データ生成部８８が、揺動制御動画像データ記憶部９０に記憶されている揺動制御動画像データ６６を更新する（Ｓ１０７）。ここでは例えば、Ｓ１０２に示す処理で生成されたフレーム画像が当該揺動制御動画像データ６６に含まれる動画像データ６８に追加される。また例えば、Ｓ１０６に示す処理で生成された本ループにおけるフレーム揺動制御データが、当該フレーム画像に関連付けられた状態で、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に追加される。そして、Ｓ１０１に示す処理に戻る。
【０１０２】
なお、Ｓ１０６に示す処理及びＳ１０７に示す処理が実行されなくてもよい。
【０１０３】
次に、本実施形態に係るエンタテインメント装置１４において行われる別の処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。図７に示す処理例は、揺動制御動画像データ取得部９２が取得する揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像の再生の際に実行される、揺動部４２の揺動制御処理の流れの一例である。
【０１０４】
また図７に示すＳ２０１〜Ｓ２０４に示す処理は、所定のフレームレートで繰り返し実行される。
【０１０５】
まず、表示制御部９４が、揺動制御動画像データ６６に含まれる動画像データ６８に示されている、本ループにおけるフレーム画像を特定する（Ｓ２０１）。
【０１０６】
そして、判定部８４が、揺動制御動画像データ６６に含まれる揺動制御データ７０に基づいて、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものであるか否かを判定する（Ｓ２０２）。ここでは例えば、Ｓ２０１に示す処理で特定されたフレーム画像に関連付けられているフレーム揺動制御データの値が１である場合に、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものであると判定される。またＳ２０１に示す処理で特定されたフレーム画像に関連付けられているフレーム揺動制御データの値が０である場合に、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものではないと判定される。
【０１０７】
ここでＳ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものであると判定されたとする（Ｓ２０２：Ｙ）。この場合は、表示制御部９４が、Ｓ２０１に示す処理で特定されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ２０３）。この場合は、揺動部４２は揺動する。
【０１０８】
一方、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものでないと判定されたとする（Ｓ２０２：Ｎ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ２０４）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
【０１０９】
そして、Ｓ２０１に示す処理に戻る。
【０１１０】
なお、本実施形態において、揺動制御部９６が、判定部８４による判定の結果、及び、図８に示す仮想空間６０内に配置された仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２の揺動を制御してもよい。例えば、揺動制御部９６が、判定部８４による判定の結果、及び、仮想空間６０内に配置された仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２を揺動させるか否かを制御してもよい。
【０１１１】
揺動制御部９６は、判定部８４による判定の結果、及び、仮想カメラ６２の画角（撮影範囲）内に配置されている仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２の揺動を制御してもよい。ここで、揺動制御部９６は、仮想カメラ６２の視点の位置Ｐ１と当該視点の位置Ｐ１に最も近い仮想オブジェクト１００の表面上の点の位置Ｐ２との間の距離ｄを特定してもよい。
【０１１２】
また、揺動制御部９６は、複数の仮想オブジェクトのうちから特定される仮想カメラ６２に最も近い仮想オブジェクトと、仮想カメラ６２と、の間の距離ｄを特定してもよい。
【０１１３】
例えば、仮想カメラ６２の画角内に複数の仮想オブジェクトが配置されているとする。この場合、揺動制御部９６は、これらの仮想オブジェクトのうちから仮想カメラ６２に最も近い仮想オブジェクトを特定してもよい。そして、揺動制御部９６は、特定された仮想オブジェクトと仮想カメラ６２との間の距離ｄを特定してもよい。
【０１１４】
そして、判定部８４によって仮想カメラ６２が仮想空間６０内において加速度運動をしていると判定され、かつ、距離ｄが所定の距離ｄ１よりも短い場合に、揺動制御部９６は、揺動部４２を揺動させる揺動制御を実行してもよい。
【０１１５】
また、揺動制御部９６は、仮想空間６０内に配置された仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２の揺動量を制御してもよい。例えば、揺動制御部９６は、距離ｄに基づいて、揺動部４２の揺動量を決定してもよい。そして、揺動制御部９６は、決定される揺動量で揺動するよう揺動部４２を制御してもよい。ここで例えば、距離ｄが短いほど大きな揺動量が決定されてもよい。この場合、距離ｄが短いほど揺動部４２が大きく揺動するよう揺動部４２は制御される。
【０１１６】
また、揺動制御部９６は、画像解析技術を用いることで、動画像データ６８が示す動画像に写るオブジェクトを特定してもよい。そして、揺動制御部９６が、特定されるオブジェクトのフレーム画像内における単位時間あたりの移動量を特定してもよい。この場合、表示部３８が三次元画像の表示ができるものであっても、揺動制御部９６は、当該三次元画像を二次元画像に置き換えて、オブジェクトの移動量を特定してもよい。すなわち、オブジェクトの移動量を特定する際には、オブジェクトの奥行き方向の移動は考慮されなくてもよい。
【０１１７】
そして、揺動制御部９６は、特定される移動量に基づいて、揺動部４２の揺動を制御してもよい。
【０１１８】
揺動制御部９６は、例えば、特定される移動量に基づいて、揺動部４２を揺動させるか否かを制御してもよい。揺動制御部９６は、例えば、特定される移動量が所定の移動量よりも大きい場合に、揺動部４２を揺動させる揺動制御を実行してもよい。
【０１１９】
また、揺動制御部９６は、特定される移動量に基づいて、揺動部４２の揺動量を制御してもよい。例えば、特定される移動量が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。
【０１２０】
例えば、あるフレームのフレーム画像に写るオブジェクトの中心の位置と、当該フレームの直前のフレームのフレーム画像に写る当該オブジェクトの中心の位置と、の間の距離が特定されてもよい。そして、特定される距離に基づいて、揺動部４２の揺動を制御してもよい。例えば特定される距離が所定の距離よりも大きい場合に、揺動制御部９６は、揺動部４２を揺動させる揺動制御を実行してもよい。また、特定される距離が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。
【０１２１】
また、動画像データ６８が示す動画像に写る複数のオブジェクトが特定される場合は、フレーム画像内における単位時間あたりの移動量が最も大きなオブジェクトが特定されてもよい。そして、特定されるオブジェクトの単位時間あたりの移動量に基づいて、揺動部４２の揺動が制御されてもよい。
【０１２２】
また、揺動制御部９６は、当該フレームのフレーム画像に含まれる画素の画素値と、直前のフレームのフレーム画像に含まれる当該画素に対応する画素の画素値と、の差を特定してもよい。そして、揺動制御部９６は、すべての画素について特定される画素値の差の合計に基づいて、揺動部４２の揺動を制御してもよい。例えば特定される合計が所定値よりも大きい場合に、揺動制御部９６は、揺動部４２を揺動させる揺動制御を実行してもよい。また、特定される合計が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。
【０１２３】
ここで、本実施形態に係るエンタテインメント装置１４において行われる別の処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。図９に示す処理例は、図６に示すような、仮想カメラ６２の動きに基づく、揺動部４２の揺動制御処理の流れの別の一例である。なお本処理例では、揺動制御動画像データ生成部８８によって予め生成された空の揺動制御動画像データ６６が、揺動制御動画像データ記憶部９０に記憶されていることとする。
【０１２４】
また図９に示すＳ３０１〜Ｓ３０８に示す処理は、所定のフレームレートで繰り返し実行される。
【０１２５】
図９に示すＳ３０１〜Ｓ３０３に示す処理は、図６に示すＳ１０１〜Ｓ１０３に示す処理と同様であるため、説明を省略する。
【０１２６】
Ｓ３０３に示す処理で、仮想カメラ６２が加速度運動をしていると判定されたとする（Ｓ３０３：Ｙ）。この場合は、揺動制御部９６は、上述のようにして、仮想カメラ６２と仮想オブジェクト１００との間の距離ｄを特定し、距離ｄが所定の距離ｄ１よりも短いか否かを判定する（Ｓ３０４）。
【０１２７】
距離ｄが所定の距離ｄ１よりも短い場合は、表示制御部９４が、Ｓ３０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ３０５）。この場合は、揺動部４２は揺動する。
【０１２８】
Ｓ３０３に示す処理で、仮想カメラ６２が加速度運動をしていないと判定されたとする（Ｓ３０３：Ｎ）。あるいは、Ｓ３０４に示す処理で、距離ｄが所定の距離ｄ１以上であると判定されたとする（Ｓ３０４：Ｎ）。これらのいずれかの場合は、表示制御部９４が、Ｓ３０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ３０６）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
【０１２９】
Ｓ３０５又はＳ３０６に示す処理が終了すると、揺動制御データ生成部８６が、Ｓ３０３及びＳ３０４に示す処理における判定結果に応じた、本ループにおけるフレーム揺動制御データを生成する（Ｓ３０７）。ここでは例えば本ループにおいてＳ３０５に示す処理が実行された場合は、値が１であるフレーム揺動制御データが生成される。また例えば本ループにおいてＳ３０６に示す処理が実行された場合は、値が０であるフレーム揺動制御データが生成される。
【０１３０】
そして、揺動制御動画像データ生成部８８が、揺動制御動画像データ記憶部９０に記憶されている揺動制御動画像データ６６を更新する（Ｓ３０８）。ここでは例えば、Ｓ３０２に示す処理で生成されたフレーム画像が当該揺動制御動画像データ６６に含まれる動画像データ６８に追加される。また例えば、Ｓ３０７に示す処理で生成された本ループにおけるフレーム揺動制御データが、当該フレーム画像に関連付けられた状態で、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に追加される。そして、Ｓ３０１に示す処理に戻る。
【０１３１】
なお、Ｓ３０７に示す処理及びＳ３０８に示す処理が実行されなくてもよい。
【０１３２】
次に、本実施形態に係るエンタテインメント装置１４において行われる別の処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。図１０に示す処理例は、図９に示すＳ３０１〜Ｓ３０８に示す処理で生成された揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像の再生の際に実行される、揺動部４２の揺動制御処理の流れの一例である。
【０１３３】
また図１０に示すＳ４０１〜Ｓ４０４に示す処理は、所定のフレームレートで繰り返し実行される。
【０１３４】
まず、表示制御部９４が、揺動制御動画像データ６６に含まれる動画像データ６８に示されている、本ループにおけるフレーム画像を特定する（Ｓ４０１）。
【０１３５】
そして、判定部８４が、Ｓ４０１に示す処理で特定されたフレーム画像に関連付けられているフレーム揺動制御データの値が１であるか否かを確認する（Ｓ４０２）。
【０１３６】
ここでフレーム揺動制御データの値が１であることが確認されたとする（Ｓ４０２：Ｙ）。この場合は、表示制御部９４が、Ｓ２０１に示す処理で特定されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ４０３）。この場合は、揺動部４２は揺動する。
【０１３７】
一方、フレーム揺動制御データの値が０であることが確認されたとする（Ｓ４０２：Ｎ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ４０４）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
【０１３８】
そして、Ｓ４０１に示す処理に戻る。
【０１３９】
本実施形態において、上述のフレーム揺動制御データが、揺動量を示すデータであってもよい。そしてこの場合、例えば、揺動制御データ生成部８６は、揺動量を示すフレーム揺動制御データが生成されてもよい。ここで、揺動部４２を揺動させない場合は、揺動制御データ生成部８６は、値が０であるフレーム揺動制御データを生成してもよい。そしてこの場合、揺動制御部９６が、フレーム揺動制御データが示す揺動量で揺動するよう揺動部４２を揺動させる揺動制御を実行してもよい。
【０１４０】
なお、本発明は上述の実施形態に限定されるものではない。
【０１４１】
例えばＨＭＤ１２、エンタテインメント装置１４、中継装置１６の役割分担は上述のものに限定されない。例えば図５に示す機能の一部（例えば表示制御部９４、及び、揺動制御部９６）又は全部がＨＭＤ１２によって実装されてもよい。
【０１４２】
また例えば、揺動制御部９６が、例えばユーザの操作などによって、揺動部４２の揺動制御のオン、オフを切り替えるようにしてもよい。
【０１４３】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
2020090477.tif 000003
【図２Ａ】
2020090477.tif 000004
【図２Ｂ】
2020090477.tif 000005
【図３】
2020090477.tif 000006
【図４】
2020090477.tif 000007
【図５】
2020090477.tif 000008
【図６】
2020090477.tif 000009
【図７】
2020090477.tif 000010
【図８】
2020090477.tif 000011
【図９】
2020090477.tif 000012
【図１０】
2020090477.tif 000013
【国際調査報告】
2020090477.tif 000014
2020090477.tif 000015