(57)【要約】  ユーザに仮想空間の画像を提示する画像提示装置であって、画像の提示中に取得される取得情報を受け入れ、またユーザによる、自己が所定の状態となった旨の申告を受け入れる。画像提示装置は、取得情報と、申告の内容との関係を機械学習し、当該機械学習の結果が、ユーザに対する仮想空間の画像の提示中における所定の処理に供される。
2019207728.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに仮想空間の画像を提示する画像提示装置であって、
前記画像の提示中に取得される取得情報を受け入れる取得情報受入手段と、
ユーザによる、自己が所定の状態となった旨の申告を受け入れる申告受入手段と、
前記取得情報と、前記申告の内容との関係を機械学習する学習処理手段と、
を含み、
前記機械学習の結果が、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供される画像提示装置。
【請求項２】
請求項１に記載の画像提示装置であって、
ユーザが視聴を希望する、仮想空間の画像の提示に先立って、予め定められた試験用の仮想空間の画像を提示し、
前記取得情報受入手段は、前記試験用の仮想空間の画像の提示中に取得される取得情報を受け入れ、
前記申告受入手段は、前記試験用の仮想空間の画像の提示中に、ユーザによる、自己が所定の状態となった旨の申告を受け入れ、
前記学習処理手段は、前記試験用の仮想空間の画像の提示中に取得された前記取得情報と、前記申告の内容との関係を機械学習し、
前記機械学習の結果が、ユーザに対する、前記ユーザが視聴を希望する前記仮想空間の画像の提示中における所定の処理に供される画像提示装置。
【請求項３】
請求項１または２に記載の画像提示装置であって、
前記ユーザの視力に関する情報を含むユーザ関係情報を受け入れる手段をさらに含み、前記学習処理手段は、前記ユーザ関係情報及び取得情報と、前記申告の内容との関係を機械学習する画像提示装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像提示装置であって、
前記取得情報受入手段は、
前記提示している画像の内容に関する内容情報と、ユーザに対して前記画像を提示している間の前記ユーザのバイタル情報とを受け入れる画像提示装置。
【請求項５】
請求項１から４のいずれか一項に記載の画像提示装置であって、
前記申告受入手段が、ユーザが自己が所定の状態となった旨の申告を受け入れたときに、前記仮想空間の画像の提示状態を変化させる画像提示装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像提示装置であって、
前記所定の処理は、警告を提示する処理である画像提示装置。
【請求項７】
請求項１から６のいずれか一項に記載の画像提示装置であって、
前記所定の処理では、前記仮想空間の画像の提示状態を変化させる処理を行う画像提示装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像提示装置であって、
ユーザの頭部に装着され、ユーザの左右の目のそれぞれに、左目用画像と右目用画像とを提示して、前記仮想空間の画像を提示する表示デバイスを含む画像提示装置。
【請求項９】
請求項７に記載の画像提示装置であって、
前記表示デバイスは、湿度を検出して、前記バイタル情報として出力する湿度センサを有する画像提示装置。
【請求項１０】
ユーザに仮想空間の画像を提示する画像提示方法であって、コンピュータを用い、
取得情報受入手段が前記画像の提示中に取得される取得情報を受け入れるステップと、
申告受入手段がユーザによる、自己が所定の状態となった旨の申告を受け入れるステップと、
学習処理手段が前記取得情報と、前記申告の内容との関係を機械学習するステップと、
を含み、
前記機械学習の結果が、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供される画像提示方法。
【請求項１１】
ユーザに仮想空間の画像を提示するプログラムを格納した記録媒体であって、
前記プログラムが、
前記画像の提示中に取得される取得情報を受け入れるモジュールと、
ユーザによる、自己が所定の状態となった旨の申告を受け入れるモジュールと、
前記取得情報と、前記申告の内容との関係を機械学習するモジュールと、
前記機械学習の結果を、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供するモジュールと、を含む、コンピュータ可読かつ非一時的な記録媒体。
【請求項１２】
コンピュータを、
ユーザに仮想空間の画像を提示するよう制御するためのプログラムであって、
前記コンピュータを、
前記画像の提示中に取得される取得情報を受け入れる取得情報受入手段と、
ユーザによる、自己が所定の状態となった旨の申告を受け入れる申告受入手段と、
前記取得情報と、前記申告の内容との関係を機械学習する学習処理手段と、
として機能させ、
前記機械学習の結果を、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像提示装置、画像提示方法、記録媒体及びプログラムに関する。
【背景技術】
【０００２】
ユーザの頭部に装着され、仮想的な空間の画像をユーザに提示する表示装置が近年普及しつつある。このような表示装置では、表示される仮想的な空間内で、連続的にユーザの視野が移動する表示等を行うと、ユーザが酔いを感じることがある（いわゆるＶＲ酔い）。【０００３】
このような酔いの軽減のためには、移動を不連続に行うことや、移動に伴う振動をユーザに提示したり、体重移動を感じさせる、いわゆる体感型の椅子を用いる方法等、種々の方法が考えられているが、それぞれの対策による効果はユーザの視力や年齢など、ユーザの個体差によっても異なることが知られるようになってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、ユーザの個体差に応じた酔いの可能性の推定や、酔いの検出、酔いの軽減処理等、酔いに対する処理を行うことが要望されている。【０００５】
本発明は上記実情に鑑みて為されたもので、ユーザの個体差に応じた酔いに対する処理を実行できる画像提示装置、画像提示方法、記録媒体及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００６】
上記従来例の問題点を解決する本発明は、ユーザに仮想空間の画像を提示する画像提示装置であって、前記画像の提示中に取得される取得情報を受け入れる取得情報受入手段と、ユーザによる、自己が所定の状態となった旨の申告を受け入れる申告受入手段と、前記取得情報と、前記申告の内容との関係を機械学習する学習処理手段と、を含み、前記機械学習の結果が、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供されることとしたものである。
【発明の効果】
【０００７】
これにより、ユーザの個体差に応じた酔いに対する処理を実行できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る画像提示装置の構成例を表す概略ブロック図である。
【図２】本発明の実施の形態に係る表示デバイスの例を表す概略説明図である。
【図３】本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。
【図４】本発明の実施の形態に係る情報処理装置の動作例を表すフローチャート図である。
【図５】本発明の実施の形態に係る情報処理装置のもう一つの動作例を表すフローチャート図である。
【発明を実施するための形態】
【０００９】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像提示装置１は、図１に例示するように表示デバイス１０と、この表示デバイス１０と通信可能に接続された情報処理装置２０とを含んで構成される。
【００１０】
なお、図１の例では、表示デバイス１０は、ユーザが頭部に装着して用いる、いわゆるヘッドマウントディスプレイ（ＨＭＤ）であるものとしており、表示部１１と、制御部１２と、センサ部１３と、通信部１４とを含んで構成されている。
【００１１】
また情報処理装置２０は、図１に例示するように、制御部２１と、記憶部２２と、操作部２３と、表示制御部２４と、通信部２５とを備えて構成されている。
【００１２】
ここで情報処理装置２０の制御部２１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部２２に格納されたプログラムに従って動作する。本実施の形態の制御部２１は、このプログラムを実行することで、ユーザに仮想空間の画像を提示する処理を行うとともに、この画像の提示中に取得される取得情報を受け入れ、また、ユーザによる、自己が所定の状態となった旨の申告を受け入れる。そして制御部２１は、取得情報と、申告の内容との関係を機械学習する。この制御部２１の具体的な処理の例については後に述べる。
【００１３】
記憶部２２は、メモリデバイスやディスクデバイスを含んで構成され、制御部２１によって実行されるプログラムを格納している。このプログラムは、ＤＶＤ−ＲＯＭ等のコンピュータ可読、かつ非一時的な記憶媒体に格納されて提供され、この記憶部２２に複写されて格納されたものであってもよい。またこの記憶部２２は、制御部２１のワークメモリとしても動作する。
【００１４】
操作部２３は、マウスやキーボード、ボタン、あるいはゲームコントローラ等の入力デバイスに接続され、これら入力デバイスからのユーザの操作を受け入れて、当該受け入れた操作の内容を表す情報を制御部２１に出力する。表示制御部２４は、制御部２１から入力される指示に従って、表示デバイス１０に対して表示出力するべき情報を通信部２５を介して送出する。一例としてこの表示制御部２４は、制御部２１から所定のタイミングごと（例えば１／３０秒ごと）に、ユーザに提示するべき画像の情報（表示デバイス１０にて表示されるべき左目用、右目用の一対の画像）の入力を受けて、当該画像の情報を、通信部２５を介して送出する。
【００１５】
通信部２５は、表示デバイス１０に対して接続され、表示制御部２４が出力する情報を、表示デバイス１０に対して送信する。またこの通信部２５は、表示デバイス１０から送信される情報を受信し、制御部２１に対して出力する。
【００１６】
表示デバイス１０は、図２に例示するように、前方側（ユーザが装着したときに顔面側となる側）に、表示ユニット１００が配され、この表示ユニット１００を支持し、前方側からユーザの一方側（左または右）の側頭部に沿って後方側（ユーザが装着したときに後頭部側となる側）を通過し、他方側の側頭部に沿って前方側に至るよう、円周状に形成された装着バンド１１０を備える。装着バンド１１０はその周長がユーザの頭部の大きさに合わせて調整可能となっており、ユーザはこの装着バンド１１０を自己の頭部の大きさに合わせて調整することで、表示デバイス１０を頭部に固定する。
【００１７】
また表示ユニット１００は、一面側（ユーザが装着したときに顔面に当たる側）が開口した箱状のハウジング１０１を有し、このハウジング１０１内に、表示部１１が配されている。さらに本実施の形態の一例では、ハウジング１０１内の表示部１１に接続されたプロセッサユニット１０２がハウジング外に配され、このプロセッサユニット１０２内に制御部１２及び通信部１４が配されているものとする。もっとも、このような配置は一例であり、プロセッサユニット１０２は必ずしも必要ではない。例えば制御部１２及び通信部１４は表示ユニット１００のハウジング１０１内に配されてもよい。
【００１８】
表示部１１は、ユーザの右目と左目とのそれぞれの目の前に、それぞれの目に対応した視野画像を表示する。具体的にこの表示部１１は、有機ＥＬ表示パネルや液晶表示パネルなどの表示素子を含み、この表示素子が制御部１２から入力される指示に従って映像を表示する。この表示素子は、左目用の画像と右目用の画像とを一列に並べて表示する１つの表示素子であってもよいし、左目用の画像と右目用の画像とをそれぞれ独立に表示する一対の表示素子であってもよい。なお、この表示デバイス１０は、ユーザが外界の様子を視認することができない非透過型の表示装置であってもよいし、表示素子に表示される情報とともに外界を視認可能な、透過型の表示装置であってもよい。
【００１９】
制御部１２は、マイクロコンピュータ等であり、内蔵するメモリ等に格納されたプログラムに従って動作する。本実施の形態では、この制御部１２は、通信部１４を介して入力される情報に基づいて、表示部１１を制御し、画像を表示させる。またこの制御部１２は、センサ部１３が出力する情報を、所定のタイミングごとに（例えば定期的に）、通信部１４を介して情報処理装置２０に対して送出する。
【００２０】
センサ部１３は、例えば脈波センサや、呼吸センサ、湿度センサ、温度センサ等のセンサを少なくとも一つ含む。このセンサ部１３は、センサによって検出した情報を制御部１２に出力する。
【００２１】
ここでセンサ部１３は、表示ユニット１００または装着バンド１１０に配されることとしてもよい。具体的にセンサ部１３の一例である脈波センサは、例えば装着バンド１１０のうち、ユーザが装着したときに耳に当接する位置に配され、ユーザの耳たぶに接して、耳たぶ内を流れる血液の状況から脈拍を検出することとしてもよい。
【００２２】
また、センサ部１３の別の例である湿度センサや温度センサは、表示ユニット１００のハウジング１０１の内側に配され、内側の湿度や湿度を検出する。この湿度はユーザの発汗量に影響され、温度はユーザの体温に影響される。あるいは、この湿度センサや温度センサは、ハウジング１０１の外側（例えばユーザの顔面からできるだけ離れた表示デバイス１０の前方側の外面）と、ハウジング１０１の内側との二ヶ所に配され、それぞれの湿度や温度を検出してもよい。
【００２３】
なお、センサ部１３は、必ずしも、表示デバイス１０の表示ユニット１００等と一体的に構成される必要はなく、表示デバイス１０の表示ユニット１００とは別体に、ユーザの胸部や手首等に装着されるベルト上に配され、制御部１２に対して無線または有線で接続されたものであってもよい。例えば、呼吸センサ等は、ユーザの胸部に巻き回されるベルト上に配され、胸部の動きによって呼吸等を検出してもよい。
【００２４】
通信部１４は、制御部１２から入力される指示に従い、センサ部１３にて検出された情報を、情報処理装置２０に対して送出する。また、この通信部１４は、情報処理装置２０から受信する情報を、制御部１２に出力する。
【００２５】
ここで、情報処理装置２０の制御部２１の動作について説明する。本実施の形態の一例では、この制御部２１は、機能的には、図３に例示するように、アプリケーション処理部３１と、情報取得部３２と、学習部３３と、酔い判定部３４とを含んで構成される。ここで学習部３３は、さらに申告受入部４１と、学習処理部４２とを含む。また、酔い判定部３４は、推定部５１と、対応処理部５２とを含んで構成される。
【００２６】
ここでアプリケーション処理部３１は、ゲームアプリケーション等の処理を実行し、当該実行の過程で、ユーザ（ゲームのプレイヤ）に提示するべき画像の情報（ゲームの画面等）を、表示制御部２４に出力して、表示デバイス１０に提示させる。本実施の形態の例では、表示デバイス１０が立体的な仮想空間（ＶＲ空間）の画像（ユーザの左右の目にそれぞれ提示する仮想空間の左目用画像と右目用画像とを含む画像）を表示するので、アプリケーション処理部３１は、ユーザに提示するべき画像として、仮想空間の左目用画像と右目用画像とをそれぞれ出力する。
【００２７】
またアプリケーション処理部３１は、実行するゲームアプリケーション等の処理に応じて、音声を出力する処理や、ゲームコントローラを振動させてユーザに力覚を提示する処理、またはユーザが体感型の椅子装置等に着席している場合は、椅子装置を傾斜・振動等させてユーザに体感を与える等の処理を行ってもよい。これらの処理は択一的、あるいは任意に組み合わせて用いられてよい。
【００２８】
アプリケーション処理部３１は、また、ゲームコントローラ等に対するユーザの操作を受け入れて、当該ユーザの操作に応じて、例えば仮想空間内の視点や、ゲームの内容を更新する。この間、ユーザは当該アプリケーション処理部３１の動作により表示デバイス１０を介して提示される仮想空間の画像を視聴する。
【００２９】
情報取得部３２は、アプリケーション処理部３１によるゲームアプリケーションの実行前、例えばシステムの初期インストール時や、ユーザの登録を行う時点でユーザから所定の事前情報の入力を受けて、この事前情報を記憶部２２に格納しておく。
【００３０】
ここで事前情報は、ユーザの性別、年齢（年齢層として１０代であれば「１」、２０台であれば「２」…というような入力であってもよい）、ユーザの目の状況に関する情報等、ユーザ個人の特性に係る情報である。ここでユーザの目の状況に関する情報としては、視力に関する情報（近視であるか否か、といった二値の情報であってもよい）、遠視の症状の有無、乱視の有無、視野に関する情報等の少なくとも一部を含む。
【００３１】
またこの情報取得部３２は、アプリケーション処理部３１によるゲームアプリケーションの実行中（ユーザに対する仮想空間の画像の提示中）に取得される取得情報を受け入れる。
【００３２】
ここで受け入れる取得情報は、仮想空間の内容に係る情報（内容情報）と、ユーザのバイタル情報が含まれる。ここで仮想空間の内容に係る情報としては、アプリケーションの実行時間（ユーザがゲームアプリケーションをプレイしはじめてからの時間など）のほか、仮想空間内のカメラの回転速度（ユーザの視野が、各回転角方向にどれだけの速度で動いているかを表す情報）、カメラの位置（仮想空間内での位置、すなわち、どのような視点からの画像が提示されているかを表す情報）、回転角（視野が仮想空間内でどのように傾斜しているかを、各回転角方向の傾斜角等で表した情報）、移動速度（ユーザの仮想空間内での移動速度）、加速度（各回転角方向への回転加速度など）等、提示中の仮想空間の画像がどれだけ動いているかを表す情報等を含む。なお、回転角方向とは、ユーザまたはカメラを中心として、例えばユーザが最初に見た仮想空間内のユーザの視野の方向をＺ軸として、このＺ軸を法線とする面（スクリーン面）内で水平な方向をＸ軸、Ｚ，Ｘ両軸に直交するスクリーン面内の軸方向をＹ軸とした座標系の各軸周りの方向を意味する（つまりＺ軸周りの回転角（ロール角）、Ｘ軸周りの回転角（ピッチ角）、Ｙ軸周りの回転角（ヨー角）の各回転角の方向を意味する）。
【００３３】
また、仮想空間の内容に係る情報としては、画像そのものに関わる情報、例えば色や提示されているオブジェクトの数、各オブジェクトの表示されている大きさなどといった情報が含まれてもよい。
【００３４】
またこの情報取得部３２が受け入れる取得情報の一部である、ユーザのバイタル情報は、ユーザが装着している表示デバイス１０のセンサ部１３等から収集される情報である。ここではバイタル情報は、ユーザの心拍数、呼吸回数（１分あたりの呼吸の回数等）、湿度（ユーザが装着している表示デバイス１０のハウジング１０１内の湿度）、温度（ユーザの体温等）などを含む。なお、表示デバイス１０がセンサ部１３から収集した情報として、表示デバイス１０のハウジング１０１内の湿度Ｈin等の情報とハウジング１０１外の、対応する湿度Ｈout等の情報とを出力している場合は、この情報取得部３２は、これらのハウジング１０１内外での対応する情報の差Ｈout−Ｈinなどを求めてもよい。これによりハウジング１０１内でのユーザの発汗による湿度等への影響、体温による温度等への影響などを得ることができる。
【００３５】
申告受入部４１は、ユーザがゲームコントローラ等で、自己が所定の状態となった旨の操作を行ったときに、当該操作の内容を受け入れる。ここでユーザが所定の状態となったこととは、例えばユーザが酔いを感じたことなどである。つまり、本実施の形態の例では、申告受入部４１は、ユーザが酔いを感じたことを申告する操作を行ったときに、当該操作の内容を受け入れる。ここで酔いを感じたことの申告は、例えばゲームコントローラにおける所定のボタン操作等で行われる。またこの申告の内容は、酔ったか否かという二値の情報であってもよいし、どの程度の酔いを感じているかをユーザの主観で申告する方法であってもよい。酔いの程度の申告を受け入れる場合、この申告受入部４１が受け入れる情報は、例えば０から１０２３までの整数値等、段階的な数値の情報となる。この酔いの程度の入力はボタンの押下強さが取得できる場合はそれによってもよいし、ボタンの押下頻度（所定の時間内に押下された回数）によって得られてもよい。例えば直近の１分間にｎ回の操作が行われたときに、酔いの程度を「ｎ」としてもよい。
【００３６】
学習処理部４２は、取得情報と、申告の内容との関係を機械学習する。本実施の形態では、情報取得部３２が取得して記憶部２２に格納されている事前情報と、仮想空間の内容に係る情報やユーザのバイタル情報等の取得情報とを入力情報（説明変数）とし、申告受入部４１が受け入れた酔いの申告の内容（酔ったか否かを表す二値情報、あるいは酔いの程度を表す数値の情報）を出力情報（目的変数）として、機械学習処理を実行する。
【００３７】
この機械学習処理は、ニューラルネットワークを用いたものであってもよいし、あるいは要因の組み合わせを判断する場合は、決定木（Decision Tree）等の方法が用いられてもよい。学習処理部４２は、この機械学習処理の結果として得られるニューラルネットワークや決定木（複数あってもよい）の情報を、記憶部２２に格納する。
【００３８】
例えばこの学習処理部４２は、事前情報と、仮想空間の内容に係る情報やユーザのバイタル情報等の取得情報とに含まれる各情報を説明変数（Ｎ個あるものとする）として、この説明変数の集合のうちから、ランダムに複数個（Ｎ個未満、例えばＮ／３を超えない最大の整数個とする）の説明変数を取り出した説明変数の部分集合を複数得る。
【００３９】
そして各部分集合に含まれる説明変数を用いて決定木（回帰木）による学習処理を行う。この学習処理では、例えば評価関数としてジニ不純度を用いる広く知られた方法を採用できるので、ここでの詳しい説明を省略する。
【００４０】
また酔い判定部３４は、上記機械学習の結果を用い、ユーザに対する仮想空間の画像の提示中における所定の処理を実行する。具体的に、この酔い判定部３４の推定部５１は、情報取得部３２が取得して記憶部２２に格納されている事前情報を読み出す。また推定部５１は、記憶部１２に格納されている機械学習処理の結果であるニューラルネットワークや決定木の情報を読み出す。
【００４１】
さらに推定部５１は、アプリケーション処理部３１によるゲームアプリケーションの実行中（ユーザに対する仮想空間の画像の提示中）に、情報取得部３２が取得して出力する取得情報を受け入れる。
【００４２】
推定部５１は、読み出した機械学習処理の結果であるニューラルネットワークや決定木に対して、読み出した事前情報や受け入れた取得情報を入力として、酔いの申告に関する推定結果（酔いが申告されるか否かを表す二値の情報、または酔いの度合いを表す数値の情報）を得る。
【００４３】
対応処理部５２は、推定部５１が得た酔いの申告に関する推定結果（酔いが申告されるか否かを表す二値の情報、または酔いの度合いを表す数値の情報）に基づき、ユーザが酔いを感じる状況となっていると判断される場合に、所定の対応処理を実行する。
【００４４】
一例として、この対応処理部５２は、推定部５１が酔いが申告される旨の情報（二値の情報である場合）、あるいは、酔いの度合いを表す数値として、予め定めたしきい値を超える値が出力されている場合に、ユーザが酔いを感じる状況となっていると判断する。
【００４５】
対応処理部５２は、ユーザが酔いを感じる状況となっていると判断すると、一例としてこの対応処理部５２は、アプリケーション処理部３１に対して、ゲームアプリケーション等の処理の中断を指示し、ゲーム等の処理を中断させるとともに、表示制御部２４に対して「酔いの可能性がある」旨の警告を表示するよう指示する。
【００４６】
あるいは、この対応処理部５２は、ユーザが酔いを感じる状況となっていると判断したときには、ゲームアプリケーション等の処理の中断させることなく、画面上に所定のアイコンや情報ウインドウを表示するなどして、「酔いの可能性がある」旨の警告を提示するよう表示制御部２４に指示してもよい。
【００４７】
さらに、この対応処理部５２は、ユーザが酔いを感じる状況となっていると判断したときには、仮想空間の画像の提示状態を変化させる等の処理を実行してもよい。
【００４８】
例えば表示制御部２４が、制御部２１から所定のタイミングごと（例えば１／３０秒ごと）に、ユーザに提示するべき画像の情報の入力を受けて、当該画像の情報を、通信部２５を介して送出している場合、対応処理部５２は、表示制御部２４に対して、画像の情報を送出するレート（上記所定のタイミング）を変更させ、例えば１／２秒に一度だけ画面を送出させることとしてもよい。これにより、仮想空間の画像の提示状態が変化し、高速に変化するアニメーション的表示が、ストップモーションの表示のように制御される。
【００４９】
またアプリケーション処理部３１が実行するゲームアプリケーション等において、予め酔いを軽減するための代替となる画像を用意できる場合は、対応処理部５２は、ユーザが酔いを感じる状況となっていると判断したときには、アプリケーション処理部３１に対して、ゲームアプリケーションの処理において、酔いを軽減するための代替となる画像を提示するよう指示することとしてもよい。この後者の例では、アプリケーション側の処理により、酔いの軽減のための処理が行われる。
【００５０】
［動作］
本実施の形態は以上の構成を備えており、次のように動作する。本実施の形態の一例では、情報処理装置２０は、家庭用ゲーム機であり、表示デバイス１０は、この家庭用ゲーム機に接続されるヘッドマウントディスプレイである。
【００５１】
またこの表示デバイス１０には、センサ部１３として脈波センサや、呼吸センサ、湿度センサ、温度センサ等が備えられているものとする。
【００５２】
ユーザは、この情報処理装置２０に対して予め自己のユーザ名や、性別、年齢、近視であるか否か、遠視であるか否か、乱視の有無の情報を、事前情報として入力し、記憶させておく。
【００５３】
またユーザは、例えば表示デバイス１０の初期設定時等、表示デバイス１０を用いてゲームをプレイするのに先立って、予め用意されたテストアプリケーションを実行する。このテストアプリケーションでは、表示デバイス１０に対し、少なくとも一種類の視点移動を伴う試験的な仮想空間の画像を表示させるものとする。
【００５４】
ユーザは、表示デバイス１０を装着して、このテストアプリケーションを実行する。情報処理装置２０は、このテストアプリケーションによってユーザに対し仮想空間の画像が提示されている間、図４に例示するように、仮想空間の内容に係る情報（内容情報）と、ユーザのバイタル情報とを取得して、取得情報として記録する（Ｓ１１）。
【００５５】
なおここで仮想空間の内容に係る情報としては、テストアプリケーションの実行時間（テストアプリケーションによる仮想空間の画像をユーザが見はじめてからの時間）、仮想空間内のカメラの回転速度、カメラの位置、回転角、移動速度、加速度、提示中の仮想空間の画像がどれだけ動いているかを表す情報が含まれる。また、情報処理装置２０は、ユーザのバイタル情報として表示デバイス１０にて検出されるユーザの心拍数、呼吸回数（１分あたりの呼吸の回数等）、湿度（ユーザが装着している表示デバイス１０のハウジング１０１内の湿度）、温度（ユーザの体温等）を取得して、取得情報に含めて記録する（Ｓ１２）。
【００５６】
情報処理装置２０は、また、テストアプリケーションによって提示される仮想空間の画像の提示中、ユーザが酔いを感じたことを申告する操作を行ったときに、当該操作の内容を受け入れる（Ｓ１３）。
【００５７】
情報処理装置２０は、予め定めたタイミング（例えば１０秒ごとなどの所定のインターバルをおいたタイミング）ごとに繰り返して、予め記憶されている事前情報と、前回のタイミング以降に（初回であればテストアプリケーションの実行開始以降に）取得された、仮想空間の内容に係る情報やユーザのバイタル情報等の取得情報とを入力情報（説明変数）とし、酔いの申告の内容（酔ったか否かを表す二値情報、あるいは酔いの程度を表す数値の情報）を出力情報（目的変数）として、機械学習処理を実行する。なお、この時点で酔いの申告がなければ、酔っていないものとして（二値情報であればその旨を表す情報、数値の情報であれば、例えば酔っていないことを表す「０」等の値）を出力情報として機械学習処理を実行する（Ｓ１４）。この処理はテストアプリケーションの実行終了まで繰り返し行われる。
【００５８】
情報処理装置２０は、この機械学習処理の結果として得られた決定木などの情報を、記憶しておく。
【００５９】
また、その後、ユーザがゲームアプリケーションの実行を指示すると、情報処理装置２０は、図５に例示するように、記憶している事前情報と、学習処理によって生成した決定木の情報を読み出す（Ｓ２１）。また、情報処理装置２０は、実行を指示されたゲームアプリケーションの処理の実行を開始して、ユーザに対し仮想空間の画像を提示しつつ（Ｓ２２）、当該ゲームアプリケーションの実行により、仮想空間の画像が提示されている間、次の処理を実行する。
【００６０】
すなわち情報処理装置２０は、仮想空間の内容に係る情報（内容情報）と、ユーザのバイタル情報とを取得する（Ｓ２３）。そして情報処理装置２０は、先に読み出した決定木に対して、読み出した事前情報や受け入れた取得情報を入力として、酔いの申告に関する推定結果（酔いが申告されるか否かを表す二値の情報、または酔いの度合いを表す数値の情報）を得る（Ｓ２４）。なお、ここでは複数の決定木をそれぞれ互いに異なる組み合わせの入力情報で学習させておき、複数の決定木の出力を平均して用いる、いわゆるランダムフォレストの方法が用いられてもよい。
【００６１】
情報処理装置２０は、ここで得られた酔いの申告に関する推定結果としての酔いの度合いを表す数値の情報が、予め定めたしきい値を超える値が出力されているか否か（ユーザが酔いを感じる可能性があるか否か）を判断する（Ｓ２５）。ここでユーザが酔いを感じる可能性があると判断された場合（Ｓ２５：Ｙｅｓ）、情報処理装置２０はユーザが酔いを感じる状況となっている旨のアイコンや情報ウインドウを、表示デバイス１０に表示させる（Ｓ２６：対応処理）。
【００６２】
ユーザは、この警告を見ることによって、自己が酔いやすい状態か、意識していなくても酔いを感じている状態にあり得ることを認識することが可能となり、意識的に休憩をとる、などの対応を行うことが可能となる。この情報処理装置２０の処理は、ゲームアプリケーションの終了まで繰り返して行われる。
【００６３】
なお、処理Ｓ２５において、ユーザが酔いを感じる可能性があると判断しない場合（Ｓ２５：Ｎｏ）は、情報処理装置２０は対応処理（処理Ｓ２６）を実行しないよう制御する。
【００６４】
本実施の形態によると、ユーザの個体差に応じた酔いの可能性の推定が行われ、それに応じた処理が実行できる。
【００６５】
［変形例］
また、ここまでの説明では情報処理装置２０は、ユーザの酔いの申告があり得るかについて予め機械学習した結果を用いて推定を行い、当該推定の結果、酔いの申告があり得る状況と判断される場合に、仮想空間の画像の提示状態を変化させ、警告を表示させる等の処理を行うこととしていたが本実施の形態はこれに限られない。
【００６６】
例えば情報処理装置２０は、ゲームアプリケーションの実行中、ユーザから酔いを感じたことを申告する操作を行ったときに、当該操作の内容を受け入れてもよい。ここで酔いを感じたことの申告は、機械学習を行う場合と同様、例えばゲームコントローラにおける所定のボタン操作等で行われる。またこの申告の内容もまた、機械学習を行う、先の説明と同様、酔ったか否かという二値の情報であってもよいし、どの程度の酔いを感じているかをユーザの主観で申告する方法であってもよい。酔いの程度の申告を受け入れる場合、この情報は、例えば０から１０２３までの整数値等、段階的な数値の情報となる。この酔いの程度の入力はボタンの押下強さが取得できる場合はそれによってもよいし、ボタンの押下頻度（所定の時間内に押下された回数）によって得られてもよい。例えば直近の１分間にｎ回の操作が行われたときに、酔いの程度を「ｎ」としてもよい。
【００６７】
そして情報処理装置２０は、ユーザが酔ったことを申告している場合、あるいは酔いの程度が予め定めたしきい値を超えたときに、機械学習に基づく推定を行っているか否かに関わらず、また、機械学習に基づく推定を行っている場合でも、その結果、酔いの申告があり得る状況と判断されないときであっても、仮想空間の画像の提示状態を変化させ、警告を表示させる等、先に説明した対応処理部５２におけるのと同様の処理を行ってもよい。
【００６８】
［分析に供する例］
なお、以上の例では、機械学習された決定木等の情報は、ゲームアプリケーションの実行時における酔いの推定及びそれに対する対応を行うための処理に供されるものとしていたが、機械学習された決定木等の情報はこれだけに限られず、一般に、ユーザがどのような要因で酔いやすいかを分析するための処理に供されてもよい。
【００６９】
例えば、決定木の情報を用いれば、どのような要因が最も大きい酔いの原因となっているかが分析でき、また、複数の入力情報の組み合わせに対応する決定木を生成することで、入力情報間の相関や、入力情報の組み合わせにより、酔いの可能性がどれだけあるかを分析することが可能となる。
【００７０】
これにより例えば近視のユーザが、視点が平行移動しているときに酔いやすい、などといった知見を得ることが可能となって、ゲームアプリケーションの開発に供することができる。また、実際にゲームアプリケーションの開発テスト中に、どの場面で、どのようなユーザが酔いやすいか（近視ユーザが酔いやすい等）などといった情報の提供が可能となる。
【符号の説明】
【００７１】
１  画像提示装置、１０  表示デバイス、１１  表示部、１２  制御部、１３  センサ部、１４  通信部、２０  情報処理装置、２１  制御部、２２  記憶部、２３  操作部、２４  表示制御部、２５  通信部、３１  アプリケーション処理部、３２  情報取得部、３３  学習部、３４  酔い判定部、４１  申告受入部、４２  学習処理部、５１  推定部、５２  対応処理部、１００  表示ユニット、１０１  ハウジング、１０２  プロセッサユニット、１１０  装着バンド。
【図１】
2019207728.tif 000003
【図２】
2019207728.tif 000004
【図３】
2019207728.tif 000005
【図４】
2019207728.tif 000006
【図５】
2019207728.tif 000007
【手続補正書】
【提出日】令和2年5月8日(2020.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザに仮想空間の画像を提示する画像提示装置であって、
前記画像の提示中に取得される取得情報を受け入れる取得情報受入手段と、
ユーザによる、自己が所定の状態となった旨の申告を受け入れる申告受入手段と、
前記取得情報と、前記申告の内容との関係を機械学習する学習処理手段と、
を含み、
前記機械学習の結果が、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供される画像提示装置。
【請求項２】
請求項１に記載の画像提示装置であって、
ユーザが視聴を希望する、仮想空間の画像の提示に先立って、予め定められた試験用の仮想空間の画像を提示し、
前記取得情報受入手段は、前記試験用の仮想空間の画像の提示中に取得される取得情報を受け入れ、
前記申告受入手段は、前記試験用の仮想空間の画像の提示中に、ユーザによる、自己が所定の状態となった旨の申告を受け入れ、
前記学習処理手段は、前記試験用の仮想空間の画像の提示中に取得された前記取得情報と、前記申告の内容との関係を機械学習し、
前記機械学習の結果が、ユーザに対する、前記ユーザが視聴を希望する前記仮想空間の画像の提示中における所定の処理に供される画像提示装置。
【請求項３】
請求項１または２に記載の画像提示装置であって、
前記ユーザの視力に関する情報を含むユーザ関係情報を受け入れる手段をさらに含み、前記学習処理手段は、前記ユーザ関係情報及び取得情報と、前記申告の内容との関係を機械学習する画像提示装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像提示装置であって、
前記取得情報受入手段は、
前記提示している画像の内容に関する内容情報と、ユーザに対して前記画像を提示している間の前記ユーザのバイタル情報とを受け入れる画像提示装置。
【請求項５】
請求項１から４のいずれか一項に記載の画像提示装置であって、
前記申告受入手段が、ユーザが自己が所定の状態となった旨の申告を受け入れたときに、前記仮想空間の画像の提示状態を変化させる画像提示装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像提示装置であって、
前記所定の処理は、警告を提示する処理である画像提示装置。
【請求項７】
請求項１から６のいずれか一項に記載の画像提示装置であって、
前記所定の処理では、前記仮想空間の画像の提示状態を変化させる処理を行う画像提示装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像提示装置であって、
ユーザの頭部に装着され、ユーザの左右の目のそれぞれに、左目用画像と右目用画像とを提示して、前記仮想空間の画像を提示する表示デバイスを含む画像提示装置。
【請求項９】
請求項８に記載の画像提示装置であって、
前記表示デバイスは、湿度を検出して、前記バイタル情報として出力する湿度センサを有する画像提示装置。
【請求項１０】
ユーザに仮想空間の画像を提示する画像提示方法であって、コンピュータを用い、
取得情報受入手段が前記画像の提示中に取得される取得情報を受け入れるステップと、
申告受入手段がユーザによる、自己が所定の状態となった旨の申告を受け入れるステップと、
学習処理手段が前記取得情報と、前記申告の内容との関係を機械学習するステップと、
を含み、
前記機械学習の結果が、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供される画像提示方法。
【請求項１１】
ユーザに仮想空間の画像を提示するプログラムを格納した記録媒体であって、
前記プログラムが、
前記画像の提示中に取得される取得情報を受け入れるモジュールと、
ユーザによる、自己が所定の状態となった旨の申告を受け入れるモジュールと、
前記取得情報と、前記申告の内容との関係を機械学習するモジュールと、
前記機械学習の結果を、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供するモジュールと、を含む、コンピュータ可読かつ非一時的な記録媒体。
【請求項１２】
コンピュータを、
ユーザに仮想空間の画像を提示するよう制御するためのプログラムであって、
前記コンピュータを、
前記画像の提示中に取得される取得情報を受け入れる取得情報受入手段と、
ユーザによる、自己が所定の状態となった旨の申告を受け入れる申告受入手段と、
前記取得情報と、前記申告の内容との関係を機械学習する学習処理手段と、
として機能させ、
前記機械学習の結果を、ユーザに対する前記仮想空間の画像の提示中における所定の処理に供させるプログラム。
【国際調査報告】
2019207728.tif 000008
2019207728.tif 000009
2019207728.tif 000010
2019207728.tif 000011