(57)【要約】  本技術は、「VR酔い」等のユーザの不快感を軽減することができるようにする画像処理装置、画像処理方法、および画像システムに関する。画像処理装置は、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、ユーザに提示する第１の提示画像として生成し、ユーザの動きを検出した検出結果に基づくユーザの実姿勢と、アバタの姿勢との姿勢差が生じる場合、アバタ視点画像と異なる第２の提示画像を生成する画像生成部を備える。本技術は、例えば、ヘッドマウントディスプレイに表示させる画像を生成する画像処理装置等に適用できる。
2018155233.tif 000002
【特許請求の範囲】
【請求項１】
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部
を備える画像処理装置。
【請求項２】
前記姿勢は、頭部位置と視線方向とで定義され、
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角または仰角の差が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記姿勢は、頭部位置と視線方向とで定義され、
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角若しくは仰角の差が第１の閾値以上であるか、または、前記ユーザの実姿勢と前記アバタの姿勢の頭部位置の差分が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記第２の提示画像は、前記ユーザの姿勢に対応する画像である
請求項１に記載の画像処理装置。
【請求項５】
前記第２の提示画像は、前記アバタの姿勢の頭部位置と前記ユーザの姿勢の視線方向に対応する画像である
請求項１に記載の画像処理装置。
【請求項６】
前記第２の提示画像は、前記アバタの姿勢の頭部位置及び方位角と前記ユーザの姿勢の仰角に対応する画像である
請求項１に記載の画像処理装置。
【請求項７】
前記第２の提示画像は、前記アバタの姿勢の頭部位置及び仰角と前記ユーザの姿勢の方位角に対応する画像である
請求項１に記載の画像処理装置。
【請求項８】
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第１の閾値以上である場合が所定回数または所定時間継続して発生したとき、前記アバタ視点画像と異なる第２の提示画像を生成する
請求項１に記載の画像処理装置。
【請求項９】
前記画像生成部は、さらに、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第２の閾値以内である場合、前記アバタ視点画像に徐々に近づくように、前記第２の提示画像を生成する
請求項１に記載の画像処理装置。
【請求項１０】
前記ユーザに相当するアバタの動作を指示する操作部をさらに備え、
前記画像生成部は、前記操作部による指示を受けて前記アバタが動作することによって、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
請求項１に記載の画像処理装置。
【請求項１１】
画像処理装置が、
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
ステップを含む画像処理方法。
【請求項１２】
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部と、
前記第１の提示画像および前記第２の提示画像を表示する表示部と
を備える画像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および画像システムに関し、特に、「VR酔い」等のユーザの不快感を軽減することができるようにした画像処理装置、画像処理方法、および画像システムに関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイやヘッドアップディスプレイは、広視野角な映像提示が可能になってきており、体や頭部の姿勢に応じて、表示させる映像の方向や姿勢を自然に変化・追従（トラッキング）させることにより、より臨場感の高い１人称視点体験が実現可能になってきている。1人称視点は、ビデオゲームの世界では特にファーストパーソン・シューティング（F.P.S.）などと呼ばれ、人気が出始めている。【０００３】
一方で、ヘッドマウントディスプレイやヘッドアップディスプレイを用いたバーチャルリアリティ（VR）体験をしたときに、一部のユーザが「VR酔い」や「映像酔い」と呼ばれる不快感を催す事例があることが知られている。これは、ユーザが体感したり、経験から予測している感覚と実際の感覚（例えば視覚刺激）にずれがあると発生すると言われている。【０００４】
この「VR酔い」や「映像酔い」の不快感を軽減させるための工夫が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−３１４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような「VR酔い」等の不快感に対する対策がさらに求められている。【０００７】
本技術は、このような状況に鑑みてなされたものであり、「VR酔い」等のユーザの不快感を軽減することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部を備える。【０００９】
本技術の一側面の画像処理方法は、画像処理装置が、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成するステップを含む。【００１０】
本技術の一側面の画像システムは、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部と、前記第１の提示画像および前記第２の提示画像を表示する表示部とを備える。【００１１】
本技術の一側面においては、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像が、前記ユーザに提示する第１の提示画像として生成され、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像が生成される。【００１２】
なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１３】
また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。【００１４】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１５】
本技術の一側面によれば、「VR酔い」等のユーザの不快感を軽減することができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術を適用した画像システムの一実施の形態の構成例を示す図である。
【図２】ボクシングゲームのコンテンツ画像の例を示す図である。
【図３】図１の画像システムの詳細構成例を示すブロック図である。
【図４】仮想世界の座標系について説明する図である。
【図５】ユーザ姿勢、アバタ姿勢、及び、提示画像姿勢の３つの姿勢について説明する図である。
【図６】提示画像生成処理を説明するフローチャートである。
【図７】仮想世界を複数ユーザで共有するコンテンツの例を説明する図である。
【図８】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００１９】
＜画像システムの構成例＞
図１は、本技術を適用した画像システムの一実施の形態の構成例を示している。
【００２０】
図１の画像システム１は、ヘッドマウントディスプレイ１１（以下、HMD１１と記述する。）、画像処理装置１２、および、コントローラ１３により構成される。
【００２１】
HMD１１は、画像処理装置１２で生成された、仮想世界上の画像を表示し、ユーザに提示する。画像処理装置１２は、HMD１１に表示させる画像を生成し、HMD１１に供給する。コントローラ１３は、複数の操作ボタン（不図示）を備え、ユーザの操作を受け付けて、ユーザの操作に応じた所定の指示を画像処理装置１２に供給する。
【００２２】
HMD１１と画像処理装置１２との間、画像処理装置１２とコントローラ１３との間は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）やＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）などの有線ケーブル、あるいは、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）、ｗｉｒｅｌｅｓｓＨＤやＭｉｒａｃａｓｔのような無線通信により接続される。
【００２３】
本実施の形態では、例えば、画像処理装置１２は、図２に示されるような画像を表示させる。図２の画像は、HMD１１を装着しているユーザをプレーヤとした１人称視点のボクシングゲーム（コンテンツ）の画像である。HMD11に表示される画像は、２D画像でもよし、ユーザの右眼に見せるための右眼用画像と、ユーザの左眼に見せるための左眼用画像を表示して、立体的に視認させる３D画像でもよい。
【００２４】
以上のように構成される画像システム１において、画像処理装置１２は、ユーザがHMD１１に表示された画像を視認して仮想世界を体験している状態において、「VR酔い」等の不快感を軽減させるように画像を生成して、HMD１１に表示させる。
【００２５】
なお、HMD１１、画像処理装置１２、及び、コントローラ１３は、必要に応じて合体されて、画像システム１が、１つまたは２つの装置で構成されてもよい。
【００２６】
＜画像システムの詳細構成例＞
図３は、画像システム１の詳細構成例を示すブロック図である。
【００２７】
HMD１１は、センサ４１と表示部４２を備える。
【００２８】
センサ４１は、例えば、ジャイロ・センサ、加速度センサ、地磁気センサなどの１以上のセンサ素子の組み合わせで構成され、ユーザの頭部の位置及び方向を検出する。本実施の形態では、センサ４１は、３軸ジャイロ・センサ、３軸加速度センサ、３軸地磁気センサの合計９軸を検出可能なセンサであるとする。センサ４１は、検出した結果を画像処理装置１２に供給する。
【００２９】
表示部４２は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどで構成され、画像処理装置１２から供給される画像信号に基づいて所定の画像を表示する。
【００３０】
なお、HMD１１には、音声出力を行うスピーカや、ユーザの音声を取得するマイクロホンなどがあってもよい。
【００３１】
コントローラ１３は、複数の操作ボタンを含む操作部８１を備え、ユーザの操作を受け付けて、ユーザの操作に応じた所定の指示を画像処理装置１２に供給する。
【００３２】
画像処理装置１２は、記憶部６１と画像生成部６２を少なくとも有し、画像生成部６２は、アバタ動作制御部７１、ユーザ姿勢検出部７２、姿勢差算出部７３、及び、提示画像生成部７４により構成される。
【００３３】
記憶部６１は、例えば、ハードディスクや不揮発性のメモリなどで構成され、画像処理装置１２の動作を制御するプログラムや、HMD１１に画像を表示するためのコンテンツ（プログラム）などを記憶する。
【００３４】
アバタ動作制御部７１は、表示部４２に表示される仮想世界上の画像（コンテンツ画像）においてユーザに相当するアバタの動作（姿勢）を制御する。アバタの動作（姿勢）の制御には、ユーザ姿勢検出部７２によって検出される、ユーザの実際の姿勢（ユーザの実姿勢）も考慮される。アバタの動作は、例えば、表示部４２に表示された仮想世界のコンテンツ画像において、ユーザが選択した動作や、ユーザが行ったアクション等によって変化する。
【００３５】
アバタ動作制御部７１は、例えば、図２に示したボクシングゲームの対戦相手のように、表示部４２に表示される画像にプレーヤ本人以外のアバタが登場する場合には、他人のアバタの動作（姿勢）も制御する。以下では、ユーザ本人のアバタと、他人のアバタを区別するため、他人のアバタを意味する場合は、他人アバタと称することとして、単にアバタと称する場合には、ユーザ本人のアバタを意味するものとする。
【００３６】
ユーザ姿勢検出部７２は、センサ４１から供給される、ユーザの頭部の位置及び方向の検出結果に基づいて、ユーザの実姿勢を検出する。
【００３７】
姿勢差算出部７３は、アバタ動作制御部７１によって決定されたアバタの姿勢と、ユーザ姿勢検出部７２によって検出されたユーザの実姿勢との姿勢差を算出する。
【００３８】
提示画像生成部７４は、記憶部６１から取得されたコンテンツの画像であって、ユーザに提示する提示画像を生成し、表示部４２に供給する。提示画像は、アバタ動作制御部７１によって決定されたユーザ本人のアバタと他人アバタの動作、ユーザ姿勢検出部７２によって決定されたユーザの実姿勢、及び、姿勢差算出部７３によって決定されたアバタの姿勢とユーザの実姿勢の姿勢差とに基づいて生成される。提示画像生成部７４は、通常の場面では、ユーザの実姿勢にアバタの姿勢を合わせ、アバタの視点による画像がユーザに提示されるように提示画像（第１の提示画像）を生成するが、所定の条件下においては、「VR酔い」等のユーザの不快感を軽減させるため、アバタ視点の画像とは異なる画像を提示画像（第２の提示画像）として生成し、表示部４２に表示させる。
【００３９】
＜提示画像の説明＞
図４及び図５を参照して、提示画像生成部７４によって生成される提示画像についてさらに説明する。
【００４０】
初めに、図４を参照して、表示部４２に表示されるコンテンツ内の仮想世界と、仮想世界上のアバタの姿勢を表現する座標系について説明する。
【００４１】
図４のＡに示されるように、表示部４２に表示されるコンテンツ内の仮想世界をＸ軸、Ｙ軸、及び、Ｚ軸からなる３次元空間とすると、アバタの姿勢は、３次元位置（ｘ，ｙ，ｚ）と２次元の方向（θ，φ）とからなる５つのパラメータ（ｘ，ｙ，ｚ，θ，φ）で表現することができる。
【００４２】
ここで、３次元位置（ｘ，ｙ，ｚ）は、仮想世界上のアバタの頭部の位置に対応し、２次元の方向（θ，φ）は、仮想世界上のアバタの視線方向（頭部が向く方向）に対応する。方向θは、図４のＢに示されるように、ＸＺ平面上の所定の基準軸（図４のＢの例ではＺ軸）に対して視線方向がなす角であり、いわゆる方位角である。方向φは、図４のＣに示されるように、ＸＺ平面に対して視線方向がなすＹ軸方向の角であり、いわゆる仰角である。したがって、本明細書における姿勢には、仮想世界上の頭部位置だけでなく、視線方向も含まれる。
【００４３】
表示部４２に表示されるコンテンツの仮想世界において、ユーザ姿勢posｕ、アバタ姿勢posａ、及び、提示画像姿勢posｖの３つの姿勢を以下のように定義する。
ユーザ姿勢posｕ＝（ｘｕ，ｙｕ，ｚｕ，θｕ，φｕ）
アバタ姿勢posａ＝（ｘａ，ｙａ，ｚａ，θａ，φａ）
提示画像姿勢posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）
【００４４】
ユーザ姿勢posｕとは、センサ４１から供給される検出結果によって決定されるユーザの実姿勢を仮想世界上に投影したものである。アバタ姿勢posａとは、アバタの姿勢を仮想世界上の座標で表現したものである。提示画像姿勢posｖは、表示部４２に表示される提示画像に対応する仮想の姿勢である。
【００４５】
図５を参照して、ユーザ姿勢posｕ、アバタ姿勢posａ、及び、提示画像姿勢posｖの３つの姿勢について具体的に説明する。
【００４６】
図２に示したボクシングゲームのコンテンツの例で説明する。
【００４７】
例えば、通常の場面では、ユーザ姿勢検出部７２によって検出されるユーザの実姿勢に応じてアバタの姿勢が制御されるので、アバタ姿勢posａとユーザ姿勢posｕは同一となる。つまり、アバタ姿勢posａ＝ユーザ姿勢posｕである。また、表示部４２に表示される提示画像は、アバタの視点からの仮想世界の画像となるので、提示画像姿勢posｖ＝アバタ姿勢posａである。
【００４８】
したがって、「VR酔い」を軽減する特別な処理を行わない通常の場面では、
提示画像姿勢posｖ＝アバタ姿勢posａ＝ユーザ姿勢posｕ
となる。
【００４９】
次に、例として、対戦相手のパンチによって、アバタがダウンした（地面に倒れた）場面を想定する。
【００５０】
実際のユーザは地面に倒れておらず、図５の姿勢１０１のように立った姿勢であるとすると、ユーザ姿勢検出部７２によって算出されるユーザ姿勢posｕ＝（ｘｕ，ｙｕ，ｚｕ，θｕ，φｕ）は姿勢１０１となる。
【００５１】
一方、アバタ動作制御部７１によって制御されるアバタ姿勢posａ＝（ｘａ，ｙａ，ｚａ，θａ，φａ）は、図５に示される、地面に倒れた姿勢１０２となる。
【００５２】
通常の場面では、上述したように、アバタの視点からの仮想世界の画像を提示画像とするが、アバタの急激な移動に合わせて提示画像を大きく変化させると、ユーザが「VR酔い」をおこすおそれがある。
【００５３】
そこで、提示画像生成部７４は、アバタ姿勢posａ（図５の姿勢１０２）に対応する画像ではなく、例えば、ユーザの実姿勢（図５の姿勢１０１）に近い姿勢１０３に対応する画像１１１を提示画像として生成し、表示部４２に表示させる。提示画像としての画像１１１は、アバタ姿勢posａに対応する画像よりも視界変化が緩やかな画像である。提示画像となる画像１１１に対応する姿勢１０３が、提示画像姿勢posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）である。
【００５４】
図５の例では、VR酔いを軽減する処理が施された場面では、提示画像姿勢posｖは、アバタ姿勢posａとユーザ姿勢posｕのいずれの姿勢とも異なるが、提示画像は、少なくとも通常場面の提示画像であるアバタ視点画像とは異なる画像であればよい。例えば、提示画像は、ユーザの実姿勢に対応する画像でもよい。
【００５５】
＜提示画像生成処理＞
次に、図６のフローチャートを参照して、画像処理装置１２による提示画像生成処理について説明する。この処理は、例えば、HMD１１の表示部４２に所定のコンテンツ画像を表示させる操作が行われたとき開始される。
【００５６】
初めに、ステップＳ１において、アバタ動作制御部７１は、表示部４２に表示される仮想世界におけるアバタの動作（アバタ姿勢posａ）を決定する。また、仮想世界上にプレーヤ本人以外の他人アバタが登場する場合には、他人アバタの動作（姿勢）も決定する。ステップＳ１以降、アバタの動作の決定は、コンテンツの内容に従って常時実行される。
【００５７】
ステップＳ２において、ユーザ姿勢検出部７２は、センサ４１から供給された、ユーザの頭部の位置及び方向を示すセンサ検出結果に基づいて、ユーザの実姿勢posｕを検出する。センサ検出結果に基づくユーザの実姿勢posｕの検出も、これ以降常時実行される。検出されたユーザの実姿勢posｕはアバタ動作制御部７１に供給され、アバタの動作（姿勢）が、ユーザの動作に合わせられる。
【００５８】
ステップＳ３において、提示画像生成部７４は、アバタの視点からの画像であるアバタ視点画像を提示画像として生成し、HMD１１の表示部４２に供給して表示させる。ここでの提示画像姿勢posｖは、アバタ姿勢posａ及びユーザ姿勢posｕと等しくなる（提示画像姿勢posｖ＝アバタ姿勢posａ＝ユーザ姿勢posｕ）。
【００５９】
ステップＳ４において、姿勢差算出部７３は、アバタ動作制御部７１によって決定されたアバタ姿勢posａと、ユーザ姿勢検出部７２によって検出されたユーザの実姿勢posｕとの姿勢差を算出して、提示画像生成部７４に供給する。
【００６０】
ステップＳ５において、提示画像生成部７４は、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が、予め決定された第１の範囲以上であるかを判定する。
【００６１】
ここで、ステップＳ５における第１の範囲として、例えば、方位角θの閾値thresθおよび、仰角φの閾値thresφを設定し、以下の式（１）または式（２）のどちらかの条件を満たしたとき、提示画像生成部７４は、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定することができる。式（１）及び式（２）の｜ｄ｜は、ｄの絶対値を表す。
｜θａ−θｕ｜＞thresθ        ・・・（１）
｜φａ−φｕ｜＞thresφ        ・・・（２）
【００６２】
式（１）のthresθは、方位角θの閾値であり、式（２）のthresφは、仰角φの閾値である。閾値thresθ及び閾値thresφとしては、任意の値を設定することができるが、例えば、３０度に設定することができる。この３０度という数値は、平均的な人間は正面からずれた方向にある物体を見るときに３０度以内であれば眼球のみを運動させることで視線方向を移動させるが、それ以上のずれた方向にある物体を見るときには自然と頭部の運動を行うという数値である。
【００６３】
また、酔いを防止するための厳しい判定条件とする場合には、閾値thresθ及び閾値thresφは、1度に設定することができる。これは、ものの細部を注視するときに利用する中心窩と呼ばれる網膜中心部領域の範囲が、平均的な人間では約1度と言われることによる。閾値thresθ及び閾値thresφは、設定画面等を用いてユーザ所望の値に変更することができる。これらの閾値を変更することにより、酔い防止の程度を制御することができる。
【００６４】
上述した判定条件は、主に頭部の向きを動かされたことを判定する条件となるが、アバタが身体全体を大きく移動させられるケースも加味する場合には、式（１）及び式（２）の条件に加えて、次の式（３）の条件を加えることができる。すなわち、式（１）乃至式（３）のいずれかの条件を満たしたとき、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定する。
Δｘａｕ＞thresｘ        ・・・（３）
【００６５】
式（３）におけるΔｘａｕは、ユーザの実姿勢posｕの頭部位置（ｘｕ，ｙｕ，ｚｕ）と、アバタ姿勢posａの頭部位置（ｘａ，ｙａ，ｚａ）との差分を表し、Δｘａｕとしては、式（４）の２次元ノルムや式（５）の１次元ノルムを採用することができる。thresｘは、Δｘａｕの閾値を表す。
【数１】
2018155233.tif 000003
【００６６】
その他のステップＳ５における判定条件としては、アバタの頭部位置の移動速度や視線方向の角速度を用いてもよい。具体的には、アバタの視線方向（θａ，φａ）の角速度をΔθ、Δφとし、アバタの頭部位置（ｘａ，ｙａ，ｚａ）の時間変化量（移動速度）をｖａとして、式（６）乃至式（８）のいずれかの条件を満たしたとき、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定してもよい。
｜Δθａ−Δθａ｜＞thresΔθ        ・・・（６）
｜Δφａ−Δφａ｜＞thresΔφ        ・・・（７）
ｖａ＞thresｖ        ・・・（８）
【００６７】
さらに、ステップＳ５では、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定される現象が１回発生しただけでなく、所定回数以上発生したとき、または、所定時間継続して発生したときに、姿勢差が第１の範囲以上であると判定するようにしてもよい。
【００６８】
ステップＳ５で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上ではないと判定された場合、処理はステップＳ３に戻り、上述したステップＳ３乃至Ｓ５の処理が繰り返される。これにより、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲より小さい場合には、アバタの視点からのアバタ視点画像が提示画像として表示され、提示画像姿勢posｖ＝アバタ姿勢posａとなる。
【００６９】
一方、ステップＳ５で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定された場合、処理はステップＳ６に進み、提示画像生成部７４は、提示画像として「VR酔い」等の不快感を軽減させるための軽減処理画像を生成し、表示部４２に供給して表示させる。
【００７０】
提示画像生成部７４は、軽減処理画像として、例えば、ユーザ姿勢posｕに対応する画像を生成して表示させる。この場合、提示画像姿勢posｖは、ユーザ姿勢posｕとなる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘｕ，ｙｕ，ｚｕ，θｕ，φｕ）
【００７１】
あるいはまた、提示画像生成部７４は、軽減処理画像として、例えば、提示画像姿勢posｖの頭部位置についてはアバタ姿勢posａの頭部位置とし、提示画像姿勢posｖの視線方向についてはユーザ姿勢posｕの視線方向とした画像を生成して表示させる。つまり、提示画像姿勢posｖは、次のようになる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘａ，ｙａ，ｚａ，θｕ，φｕ）
【００７２】
あるいはまた、提示画像生成部７４は、軽減処理画像として、例えば、提示画像姿勢posｖの頭部位置と方位角θについてはアバタ姿勢posａの頭部位置と方位角θとし、提示画像姿勢posｖの仰角φについてはユーザ姿勢posｕの仰角φとした画像を生成して表示させる。つまり、提示画像姿勢posｖは、次のようになる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘａ，ｙａ，ｚａ，θａ，φｕ）
これは、ユーザは、上下方向に意図せず視野を変更されるとより酔いやすいため、この方向にのみ、ユーザの視線方向を採用することを意味する。
【００７３】
反対に、軽減処理画像として、例えば、提示画像姿勢posｖの頭部位置と仰角φについてはアバタ姿勢posａの頭部位置と仰角φとし、提示画像姿勢posｖの方位角θについてはユーザ姿勢posｕの方位角θとした画像を生成して表示させてもよい。つまり、提示画像姿勢posｖは、次のようになる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘａ，ｙａ，ｚａ，θｕ，φａ）
これは、方位角θにのみ、ユーザの視線方向を採用することを意味する。
【００７４】
次に、ステップＳ７において、提示画像生成部７４は、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が、予め決定された第２の範囲以内となったかを判定する。
【００７５】
ステップＳ７で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差がまだ第２の範囲以内となっていない、即ち、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第２の範囲より大きいと判定された場合、処理はステップＳ６に戻り、上述した処理が繰り返される。即ち、提示画像として軽減処理画像が継続して生成され、表示部４２に表示される。
【００７６】
一方、ステップＳ７で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第２の範囲以内となったと判定された場合、処理はステップＳ８に進み、提示画像生成部７４は、軽減処理画像を、アバタ視点画像（アバタ姿勢posａに対応する画像）に徐々に近づくように生成し、表示部４２に表示させる。ステップＳ８の処理後には、提示画像姿勢posｖ＝アバタ姿勢posａ＝ユーザ姿勢posｕとなる。
【００７７】
このステップＳ８の処理である、提示画像（軽減処理画像）をアバタ視点画像に連続的に近づける提示画像姿勢posｖの制御には、例えば、単純な線形運動や、ベジエなどの曲線運動、身体モデルに基づく幾何拘束が許す駆動範囲内の運動などによる計算を用いることができる。
【００７８】
ステップＳ８の後、処理はステップＳ３に戻され、上述したステップＳ３乃至Ｓ８が、再び実行される。第１の範囲と第２の範囲の値は、同じ値としてもよいし、異なる値としてもよい。
【００７９】
以上の処理が提示画像生成処理として実行される。
【００８０】
以上のように、画像システム１による提示画像生成処理では、提示画像生成部７４が、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が所定の閾値（第１の範囲）より小さい場合、アバタの視点によるアバタ視点画像（アバタ姿勢posａに対応する画像）を第１の提示画像として生成し、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が所定の閾値（第１の範囲）以上であり、アバタ姿勢posａとユーザの実姿勢posｕとで一定以上の姿勢差が生じている場合、アバタ視点画像と異なる軽減処理画像を第２の提示画像として生成し、表示部４２に表示させる。これにより、「VR酔い」等のユーザの不快感を軽減することができる。
【００８１】
なお、上述したステップＳ６における軽減処理画像の生成では、仮想世界上のコンテンツ画像を用いて軽減処理画像を生成し、表示したが、例えば、画面全体が黒一色の黒画像（ブラックアウト画面）や、「酔い」を防止するために画面を変更中であることを説明する注意喚起画面など、表示中のコンテンツ画像と異なる画像を表示してもよい。
【００８２】
この場合、ステップＳ８で実行される、アバタ視点画像に連続的に近づける処理では、例えば、黒画像とアバタ視点画像をアルファブレンディングするアルファブレンド処理等を用いて、アバタ視点画像に戻すことができる。
【００８３】
アバタ視点画像をＩａ、黒画像をＩｂとすると、ステップＳ８における軽減処理画像Ｉｕは、ブレンド率α（０≦α≦１）を用いて以下の式（９）で表される。
Ｉｕ＝αＩａ＋（１−α）Ｉｂ        ・・・（９）
【００８４】
式（９）のブレンド率αを時間経過とともに０から１に連続的に変化させることで、黒画像から、元のアバタ視点画像に徐々に戻るように制御することができる。
【００８５】
＜仮想世界を複数ユーザで共有するコンテンツの例＞
上述した例は、１人のユーザが仮想世界を体験する例であったが、複数のユーザで同一の仮想世界を共有して体験する場合もある。
【００８６】
例えば、図７に示されるように、一方のユーザ１２１AのHMD１１に表示される仮想世界上（提示画像）には、他方のユーザ１２１Bのアバタ１３１Bが表示され、他方のユーザ１２１BのHMD１１に表示される仮想世界上（提示画像）には、一方のユーザ１２１Aのアバタ１３１Aが表示されている場面があるとする。
【００８７】
ユーザ１２１Aのアバタ１３１Aは、ユーザ１２１Aのセンサ検出結果に基づいて、仮想世界上を動作する。ユーザ１２１Bのアバタ１３１Bは、ユーザ１２１Bのセンサ検出結果に基づいて、仮想世界上を動作する。
【００８８】
したがって、基本的には、アバタ１３１（１３１A、１３１B）は、ユーザ１２１（１２１A、１２１B）の動作と同じ動きをするが、コンテンツの設計として、ユーザ１２１の動作と一致しない動作を行わせることがある。
【００８９】
例えば、ユーザ１２１Aのアバタ１３１Aに、ユーザ１２１Aがあいさつのお辞儀をさせる場面を考える。
【００９０】
実際のユーザ１２１Aがお辞儀の動作をしてもよいが、ユーザ１２１Bには実際のユーザ１２１Aの姿は見えないので、ユーザ１２１Bが仮想世界上で見ているアバタ１３１Aにお辞儀動作をさせればよい。そこで、ユーザ１２１Aは、コントローラ１３の操作や音声入力等により、アバタ１３１Aにお辞儀をさせる動作指示を行う。
【００９１】
このような場面においては、上述したような、ユーザ姿勢posｕとアバタ姿勢posａが異なる状況が発生するので、図６で説明した提示画像生成処理が同様に適用できる。
【００９２】
即ち、ユーザ１２１Aが操作ボタン等によりお辞儀動作を指示すると、ユーザ１２１Bが装着しているHMD１１の表示部４２に、ユーザ１２１Aのアバタ１３１Aがお辞儀動作を行う提示画像が表示される。ユーザ１２１Aのアバタ１３１Aがお辞儀動作を行うと、ユーザ１２１Aのアバタ姿勢posａと実姿勢posｕとの姿勢差が第１の範囲以上となるので、図６のステップＳ６の処理として、提示画像生成部７４は、軽減処理画像を生成して、ユーザ１２１Aが装着しているHMD１１の表示部４２に表示させる。換言すれば、お辞儀動作を行うアバタ１３１Aの視点によるアバタ視点画像をユーザ１２１Aが装着しているHMD１１の表示部４２に表示すると、視界変化が大きく、「酔い」が発生するので、軽減処理画像に切り換えられる。
【００９３】
そして、お辞儀動作が終了し、ユーザ１２１Aのアバタ姿勢posａと実姿勢posｕとの姿勢差が第２の範囲以内となると、図６のステップＳ８の処理として、提示画像のアバタ１３１Aのアバタ姿勢posａが、ユーザ１２１Aの実姿勢posｕに徐々に近づくように制御される。
【００９４】
ユーザ１２１が自分のアバタ１３１にどのような動作を行わせるかが選択可能な動作コマンドとなっている場合、動作コマンドごとに、軽減処理画像を提示するか否かが予め決定されており、指示された動作コマンドに応じて、予め用意された提示画像を表示させてもよい。これにより、ユーザの動きを検出した検出結果に基づくユーザの実姿勢posｕと、アバタ姿勢posａとの姿勢差が生じる場合の動作コマンドに対して、アバタの視点画像と異なる画像を表示することにより、ＶＲ酔いを抑制することができる。
【００９５】
＜コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００９６】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００９７】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【００９８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【００９９】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
【０１００】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０１】
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１０２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０３】
フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１０４】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１０５】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０６】
上述した実施の形態において、ユーザに提示する提示画像を表示する表示装置として、ヘッドマウントディスプレイ（HMD）の例を説明したが、画像システム１の表示装置としては、ヘッドアップディスプレイ（HUD）でもよいし、ドーム型（半球状）のディスプレイなどでもよい。ユーザの視野を覆うように映像を表示する表示装置であればよい。
【０１０７】
例えば、上述した実施の形態の一部を適宜組み合わせた形態を採用することができる。
【０１０８】
本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１０９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１１】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１１２】
なお、本技術は以下のような構成も取ることができる。
（１）
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部
を備える画像処理装置。
（２）
前記姿勢は、頭部位置と視線方向とで定義され、
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角または仰角の差が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記姿勢は、頭部位置と視線方向とで定義され、
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角若しくは仰角の差が第１の閾値以上であるか、または、前記ユーザの実姿勢と前記アバタの姿勢の頭部位置の差分が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）に記載の画像処理装置。
（４）
前記第２の提示画像は、前記ユーザの姿勢に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記第２の提示画像は、前記アバタの姿勢の頭部位置と前記ユーザの姿勢の視線方向に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６）
前記第２の提示画像は、前記アバタの姿勢の頭部位置及び方位角と前記ユーザの姿勢の仰角に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（７）
前記第２の提示画像は、前記アバタの姿勢の頭部位置及び仰角と前記ユーザの姿勢の方位角に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（８）
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第１の閾値以上である場合が所定回数または所定時間継続して発生したとき、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記画像生成部は、さらに、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第２の閾値以内である場合、前記アバタ視点画像に徐々に近づくように、前記第２の提示画像を生成する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記ユーザに相当するアバタの動作を指示する操作部をさらに備え、
前記画像生成部は、前記操作部による指示を受けて前記アバタが動作することによって、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
画像処理装置が、
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
ステップを含む画像処理方法。
（１２）
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部と、
前記第１の提示画像および前記第２の提示画像を表示する表示部と
を備える画像システム。
【符号の説明】
【０１１３】
１  画像システム，  １１  HMD，  １２  画像処理装置，  １３  コントローラ，  ４１  センサ，  ４２  表示部，  ６２  画像生成部，  ７１  アバタ動作制御部，  ７２  ユーザ姿勢検出部，  ７３  姿勢差算出部，  ７４  提示画像生成部，  ８１  操作部，  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２０６  入力部，  ２０７  出力部，  ２０８  記憶部，  ２０９  通信部，  ２１０  ドライブ
【図１】
2018155233.tif 000004
【図２】
2018155233.tif 000005
【図３】
2018155233.tif 000006
【図４】
2018155233.tif 000007
【図５】
2018155233.tif 000008
【図６】
2018155233.tif 000009
【図７】
2018155233.tif 000010
【図８】
2018155233.tif 000011
【国際調査報告】
2018155233.tif 000012
2018155233.tif 000013
2018155233.tif 000014