(57)【要約】【課題】仮想オブジェクトの姿勢の補正を、仮想オブジェクトを見ているユーザに不自然と感じさない情報処理装置を提供する。【解決手段】情報処理装置２は、第１ユーザ１０９の姿勢を検出する姿勢検出部としての光学センサ１０３、ＶＲベース１０２，１０８、ＶＲトラッカー１０５，１０７及びＶＲゴーグル１０６と、第１ユーザ１０９の姿勢を仮想空間２００に合わせて補正し、アバター２０２として出力するコントローラ１０４とを備え、コントローラ１０４は、第１ユーザ１０９の身体の少なくとも一部の姿勢とアバター２０２の姿勢とが一致しない場合に、アバター２０２のうち、第１ユーザ１０９の身体の少なくとも一部の姿勢に一致していない部分を、他の部分と区別可能な態様で出力する。【選択図】  図１
2020154963.tif 000002
【特許請求の範囲】
【請求項１】
第１ユーザの姿勢を検出する姿勢検出部と、
前記姿勢検出部によって検出された前記第１ユーザの姿勢を仮想空間に合わせて補正し、前記第１ユーザに対応する仮想オブジェクトとして出力する出力部とを備え、
前記出力部は、
前記姿勢検出部によって検出された前記第１ユーザの身体の少なくとも一部の姿勢と、前記第１ユーザの仮想オブジェクトの姿勢とが一致しない場合に、
前記第１ユーザの仮想オブジェクトのうち、前記第１ユーザの身体の少なくとも一部の姿勢に一致していない部分を、他の部分と区別可能な態様で出力する、情報処理装置。
【請求項２】
前記出力部は、前記第１ユーザの仮想オブジェクトのうち、前記第１ユーザの姿勢に一致していない部分を、他の部分と異なる色又は異なる透過率で出力する、請求項１に記載の情報処理装置。
【請求項３】
前記第１ユーザの仮想オブジェクトを、前記第１ユーザとは異なる第２ユーザに視認可能に表示する表示部と、
前記第１ユーザの仮想オブジェクトの情報を前記表示部に送信する送信部とをさらに備える、請求項１又は２に記載の情報処理装置。
【請求項４】
前記第２ユーザは移動体の乗員であり、前記第１ユーザは前記移動体以外の場所にいる人物である、請求項３に記載の情報処理装置。
【請求項５】
前記移動体は、車両である、請求項４に記載の情報処理装置。
【請求項６】
前記第１ユーザの仮想オブジェクトのうち、他の部分と区別可能な態様で出力可能な部分は、前記第１ユーザの仮想オブジェクトの腕、手、頭部、脚、足及び胴体のうちの少なくともいずれかの部位である、請求項１〜５のいずれか一項に記載の情報処理装置。
【請求項７】
前記第１ユーザと前記第１ユーザの仮想オブジェクトとの間で生じる姿勢の差異のうち、前記第１ユーザの姿勢と前記第１ユーザの仮想オブジェクトの姿勢とが一致するとみなされる許容範囲は、前記第１ユーザの身体のうち、体幹部位よりも可動部位の方が広く設定される、請求項１〜６のいずれか一項に記載の情報処理装置。
【請求項８】
第１ユーザの姿勢を検出するステップと、
前記第１ユーザの姿勢を仮想空間に合わせて補正して、前記第１ユーザに対応する仮想オブジェクトとして出力するステップとを備え、
前記第１ユーザに対応する仮想オブジェクトを出力するステップは、前記第１ユーザの身体の少なくとも一部の姿勢と、前記第１ユーザの仮想オブジェクトの姿勢とが一致しない場合に、前記第１ユーザの仮想オブジェクトのうち、前記第１ユーザの身体の少なくとも一部の姿勢に一致していない部分を、他の部分と区別可能な態様で出力するステップを含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）システムに用いられる情報処理装置及び情報処理方法に関するものである。
【背景技術】
【０００２】
従来のＶＲシステムでは、ＶＲユーザが操作する仮想オブジェクトの理想状態が設定され、仮想オブジェクトの状態と理想状態との差異が大きい場合には、仮想オブジェクトの表示を理想状態に近づけるように補正して、表示装置に表示する（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１８８０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されたＶＲシステムでは、仮想オブジェクトの表示が補正された場合に、仮想オブジェクトを見ているユーザが、仮想オブジェクトの姿勢や動きに違和感を覚える可能性がある。
【０００５】
本発明が解決しようとする課題は、仮想オブジェクトを見ているユーザが、仮想オブジェクトの姿勢の補正に対して感じる不自然さを低減させることができる情報処理装置及び情報処理方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理装置及び情報処理方法は、出力部によって出力される仮想オブジェクトのうち、ユーザの身体の少なくとも一部の姿勢に一致していない部分を、他の部分と区別可能な態様で出力することによって上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、仮想オブジェクトのうち、姿勢が一致していない部分を認識することができるため、仮想オブジェクトを見ているユーザは、出力部による仮想オブジェクトの姿勢の補正に対して、不自然さを感じることが少ない。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る情報処理装置及び情報処理装置が用いられるＶＲシステムの構成を示す概略図である。
【図２】図１に示す情報処理装置による仮想オブジェクトの表示方法を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
図１に示すように、ＶＲシステム１に用いられる情報処理装置２は、ユーザ実空間１００の通信装置１０１、ＶＲベース１０２，１０８、光学センサ１０３、コントローラ１０４、ＶＲトラッカー１０５，１０７及びＶＲゴーグル１０６を有する。さらに、ＶＲシステム１の情報処理装置２は、車両実空間３００のＡＲゴーグル３０２、車両側コントローラ３０３及び車両側通信装置３０４を有する。
【００１０】
ここで、ユーザ実空間１００には、第１ユーザ１０９がベッド又は布団に横臥した状態でいるものとする。ユーザ実空間１００には、ＶＲ動作範囲を生成するための一対のＶＲベース１０２，１０８が設けられる。また、ユーザ実空間１００には、第１ユーザ１０９の姿勢を検出するための光学センサ１０３と、各種センサの情報を統合して仮想空間２００を生成するコントローラ１０４と、遠隔地で走行している移動体としての車両１０に対して通信を行う通信装置１０１とが設けられる。光学センサ１０３は、例えば、カメラである。
【００１１】
また、第１ユーザ１０９は、両手の各々に、一対のＶＲトラッカー１０５，１０７を持ち、頭部にＶＲゴーグル１０６を装着している。ＶＲトラッカー１０５，１０７は、加速度センサ、ジャイロセンサ等を有しており、第１ユーザ１０９の腕及び手の姿勢及び動きを検出する。また、ＶＲゴーグル１０６にも、加速度センサ、ジャイロセンサ等が設けられ、第１ユーザ１０９の頭部の姿勢を検出する。さらに、ＶＲゴーグル１０６には、コントローラ１０４によって生成された仮想空間２００の情報が、第１ユーザ１０９に視認可能に表示される。また、コントローラ１０４には、光学センサ１０３によって検出された第１ユーザ１０９の姿勢、ＶＲトラッカー１０５，１０７によって検出された第１ユーザ１０９の腕及び手の姿勢及びＶＲゴーグル１０６を介して検出された第１ユーザ１０９の頭部の姿勢が入力される。さらに、ＶＲベース１０２，１０８は、ＶＲトラッカー１０５，１０７及びＶＲゴーグル１０６の位置情報を検出し、コントローラ１０４に入力する。
ここで、光学センサ１０３、ＶＲベース１０２，１０８、ＶＲトラッカー１０５，１０７及びＶＲゴーグル１０６は、姿勢検出部を構成する。また、コントローラ１０４は、出力部を構成する。また、通信装置１０１は、送信部を構成する。
【００１２】
一方、車両実空間３００は、ユーザ実空間１００から距離的に離れた遠隔地を走行する車両１０の内部の空間である。車両１０には、ユーザ実空間１００の通信装置１０１と通信を行う車両側通信装置３０４と、車両側コントローラ３０３とが備えられている。車両側コントローラ３０３は、ユーザ実空間１００の通信装置１０１から送信された第１ユーザ１０９の情報及び仮想空間２００の情報を統合し、車両実空間３００に重畳する。また、車両実空間３００には、車両１０を運転するドライバである第２ユーザ３０１が存在し、ドライバシート１１に座っている。車両実空間３００では、ドライバシート１１の隣の助手席シート１２は無人である。また、第２ユーザ３０１は、頭部にＡＲゴーグル３０２を装着している。ＡＲゴーグル３０２は、車両側通信装置３０４及び車両側コントローラ３０３を介して、コントローラ１０４によって生成される仮想空間２００の情報を受信する。これにより、仮想空間２００が第２ユーザ３０１に視認可能に表示される。
なお、ＡＲゴーグル３０２は、表示部を構成する。また、車両１０は、移動体を構成する。
【００１３】
コントローラ１０４が生成する仮想空間２００は、車両実空間３００に対応する。また、仮想空間２００では、ドライバシート１１には第２ユーザ３０１のアバター２０１が座っており、助手席シート１２には第１ユーザ１０９のアバター２０２が座っている。アバター２０１，２０２は、コントローラ１０４が出力する仮想オブジェクトである。ここで、第１ユーザ１０９にとって、仮想空間２００は、仮想現実（ＶＲ）である。すなわち、第１ユーザ１０９には、車両実空間３００に対応する仮想空間２００の中に、第１ユーザ１０９の仮想オブジェクトであるアバター２０２及び第２ユーザ３０１の仮想オブジェクトであるアバター２０１が存在しているように見えている。一方、第２ユーザ３０１にとって、仮想空間２００は、拡張現実（ＡＲ）である。すなわち、第２ユーザ３０１にとって、仮想空間２００は、実際の車両実空間３００に重畳して、実際には存在しない第１ユーザ１０９のアバター２０２が存在するように見えるものである。なお、通信装置１００は、アバター２０２の情報を、車両側通信装置３０４及び車両側コントローラ３０３を介して、ＡＲゴーグル３０２に送信している。
【００１４】
ユーザ実空間１００では、第１ユーザ１０９は横臥した姿勢で寝ている。一方、仮想空間２００のアバター２０２の姿勢は、コントローラ１０４によって、助手席シート１２に座った状態に補正されている。そのため、実際の第１ユーザ１０９の姿勢と、仮想空間２００のアバター２０２の姿勢とは、首から下の部分が相違する。よって、アバター２０２の胴体２０２ａ、脚２０２ｂ及び足２０２ｃは、姿勢が一致していないことを示すために、表示態様が変更され、他の部分と区別可能となるように異なる色で出力される。なお、アバター２０２の腕２０２ｄ及び手２０２ｅは、ＶＲトラッカー１０５，１０７を持っている第１ユーザ１０９の実際の腕及び手の動きに連動して動くため、表示態様は変更されない。また、アバター２０２は、頭部２０２ｆを基準位置として姿勢を調整されるため、アバター２０２の頭部２０２ｆも第１ユーザ１０９の頭部と姿勢及び動きが一致するものとして、表示態様を変更されていない。
なお、アバター２０２の脚とは、人体の骨盤から足首までの部位に相当する部分をいう。また、アバター２０２の足とは、人体の足首から爪先までの部位に相当する部分をいう。
また、アバター２０２の腕２０２ｄ、手２０２ｅ、頭部２０２ｆ、脚２０２ｂ、足２０２ｃ及び胴体２０２ａは、各々のパーツ毎に、他の部分と区別可能となるように色を変える等、表示態様を変更することができる。
【００１５】
次に、情報処理装置２を用いて、仮想空間２００のアバター２０２を第２ユーザ３０１のＡＲゴーグル３０２に表示する方法について、図１及び図２を参照して説明する。
まず、ステップＳ１において、第１ユーザ１０９がＶＲシステム１の利用を開始する。次に、情報処理装置２の光学センサ１０３、ＶＲベース１０２，１０８、ＶＲトラッカー１０５，１０７及びＶＲゴーグル１０６が第１ユーザ１０９の姿勢を検出する。そして、ステップＳ２において、コントローラ１０４は、第１ユーザ１０９の姿勢を、仮想空間２００に適するように補正して、アバター２０２の姿勢に反映させる。
【００１６】
次に、ステップＳ３において、コントローラ１０４は、ユーザ実空間１００の第１ユーザ１０９の姿勢が、仮想空間２００のアバター２０２の姿勢と一致するか否かを判断する。すなわち、ユーザ実空間１００の第１ユーザ１０９が椅子に座った状態である時は、第１ユーザ１０９の姿勢は、仮想空間２００の助手席シート１２に座るアバター２０２の姿勢と一致すると判断される。この場合、アバター２０２の映像は、表示態様を変更されずに出力され、ＡＲゴーグル３０２に表示される。
【００１７】
ここで、ユーザ実空間１００には、第１ユーザ１０９の頭部を基準とした三次元座標が設定されている。また、仮想空間２００にも、同様に、アバター２０２の頭部２０２ｆを基準とした三次元座標が設定される。ユーザ実空間１００の三次元座標と、仮想空間２００の三次元座標とは互いに対応する。コントローラ１０４は、アバター２０２の身体の各部位の座標位置が、第１ユーザ１０９の身体の各部位の座標位置に対してどれだけずれているかによって、姿勢が一致するか否かを判断する。なお、ユーザ実空間１００の第１ユーザ１０９の姿勢と仮想空間２００のアバター２０２の姿勢との一致は、完全一致である必要はなく、概ね同じ姿勢であると認識可能な範囲であればよい。また、第１ユーザ１０９とアバター２０２の姿勢との間に生じる姿勢の差異のうち、第１ユーザ１０９の姿勢とアバター２０２の姿勢とが一致するとみなされる許容範囲は、可動部位の方が体幹部位よりも広く設定される。なお、可動部位は、人体のパーツの中でも動きやすい部位であり、腕、手及び頭部を含む。また、体幹部位は、動きが少ない胴体を含む。
【００１８】
一方、ユーザ実空間１００の第１ユーザ１０９の姿勢が、仮想空間２００のアバター２０２の姿勢と一致しないと判断された場合、次のステップＳ４において、第２ユーザ３０１が第１ユーザ１０９にインタラクションをかけたか否かが判断される。例えば、車内に設けられた各種センサ（図示せず）又はＡＲゴーグル３０２を介して、第２ユーザ３０１が第１ユーザ１０９のアバター２０２を注視し、かつ発話していることが検知された場合、第２ユーザ３０１が第１ユーザ１０９にインタラクションをかけていると判断される。また、第２ユーザ３０１が第１ユーザ１０９のアバター２０２を注視していない場合であっても、第２ユーザ３０１の発話分の末尾に第１ユーザ１０９の名前があれば、第２ユーザ３０１が第１ユーザ１０９に呼び掛けているとみなされる。すなわち、第２ユーザ３０１が第１ユーザ１０９のアバター２０２に呼び掛けることにより、インタラクションをかけていると判断される。さらに、仮想空間２００の中で、第１ユーザ１０９のアバター２０２の身体と第２ユーザ３０１のアバター２０１の身体との間が一定の距離以下になるまで両者が接近した場合は、アバター２０２，２０１同士は接触しているとみなされる。第１ユーザ１０９のアバター２０２と第２ユーザ３０１のアバター２０１とが接触しているとみなされる時は、第２ユーザ３０１が第１ユーザ１０９にインタラクションをかけていると判断される。そして、第２ユーザ３０１が第１ユーザ１０９にインタラクションをかけている間は、制御はステップＳ６に移り、アバター２０２のうち、第１ユーザ１０９の身体の実際の姿勢に一致していない部分の表示態様が変更され、他の部分とは異なる色で表示される。これにより、第２ユーザ３０１が第１ユーザ１０９に対してコミュニケーションを取っている間、アバター２０１の姿勢の補正に対する違和感が低減されるため、第２ユーザ３０１の拡張現実への没入感を高めることができる。
【００１９】
また、第２ユーザ３０１が第１ユーザ１０９にインタラクションをかけていない場合は、ステップＳ５において、第１ユーザ１０９が意図した動作をできるか否かを判断する。第１ユーザ１０９が意図した動作をできない場合とは、例えば、第１ユーザ１０９が、仮想空間２００で腕２０２ｄを伸ばして、スイッチ等の任意の対象オブジェクトに触れようとしても、ユーザ実空間１００が狭すぎて、実際には腕を充分に伸ばせない場合等である。このような場合、ユーザ実空間１００の第１ユーザ１０９が「腕を伸ばす」という意図した動作をできない状態であるにも関わらず、仮想空間２００のアバター２０１は、第１ユーザ１０９の操作に従って腕２０２ｄを伸ばした姿勢を取ることが可能である。具体的には、第１ユーザ１０９が対象オブジェクトを所定時間以上継続して注視すると、ＶＲゴーグル１０６に表示されている対象オブジェクトが点滅する。そして、対象オブジェクトの点滅を確認した第１ユーザ１０９が、ＶＲトラッカー１０５，１０７に「Ｙｅｓ」を入力すると、仮想空間２００のアバター２０２は腕２０２ｄを伸ばして対象オブジェクトに触れることができる。このような場合も、第１ユーザ１０９の姿勢とアバター２０１の姿勢とは一致しないため、第１ユーザ１０９の実際の姿勢に一致していない部分、すなわち、アバター２０１の腕２０２ｄの表示態様が変更され、他の部分とは異なる色で表示される（ステップＳ６）。一方、第２ユーザ３０１が第１ユーザ１０９にインタラクションをかけていない場合であって、第１ユーザ１０９が意図した動作をすることができる場合は、アバター２０２の表示態様は変更されない。
【００２０】
次に、ステップＳ７において、第２ユーザ３０１が第１ユーザ１０９にかけたインタラクションが完了したか否か、又は、第１ユーザ１０９が意図した動作をできない状態において操作されるアバター２０１の動作が完了したか否かが判断される。第２ユーザ３０１によるインタラクションが完了していない、又は、第１ユーザ１０９が意図した動作をできない状態において操作されるアバター２０１の動作が完了していない場合、制御はステップＳ６に戻る。一方、第２ユーザ３０１によるインタラクションが完了した、又は、第１ユーザ１０９が意図した動作をできない状態において操作されるアバター２０１の動作が完了した場合、ステップＳ８において、第１ユーザ１０９がＶＲシステム１の利用を終了したか否かが判断される。そして、第１ユーザ１０９がＶＲシステム１の利用を終了した場合、制御は終了する。一方、第１ユーザ１０９がＶＲシステム１の利用を終了していない場合は、制御はステップＳ４に戻る。
【００２１】
以上より、この実施の形態に係る情報処理装置２のコントローラ１０４は、第１ユーザ１０９の姿勢と、仮想空間２００におけるのアバター２０２の姿勢とが一致しない場合に、一致していない部分を、他の部分とは異なる色で出力する。これにより、車両１０の内部空間にいる第２ユーザ３０１が、ＡＲゴーグル３０２を通して、第１ユーザ１０９のアバター２０２を見た時に、第１ユーザ１０９とアバター２０２との姿勢の不一致部分を一目で把握することができる。これにより、第２ユーザ３０１は、アバター２０２の姿勢の補正を不自然と感じることなく、拡張現実への没入感を高めることができる。
【００２２】
また、情報処理装置２は、アバター２０２の情報を、第２ユーザ３０１が装着するＡＲゴーグル３０２が受信可能となるように送信する通信装置１０１を備える。これにより、ユーザ実空間１００から距離的に離れた遠隔地にいる第２ユーザ３０１が、第１ユーザ１０９のアバター２０２を視認することが可能となる。
【００２３】
また、第２ユーザ３０１は車両１０に乗って移動しており、第１ユーザ１０９は車両１０以外の場所にいる。これにより、自宅にいる第１ユーザ１０９が、仮想空間２００において、第２ユーザ３０１のアバター２０１とコミュニケーションを取りながら一緒にドライブをするというＶＲ体験が可能となる。また、第２ユーザ３０１にとっても、車両実空間３００に対応する仮想空間２００の中で、実際にはいない第１ユーザ１０９のアバター２０２とコミュニケーションを取りながら一緒にドライブをするというＡＲ体験が可能となる。
【００２４】
また、第１ユーザ１０９とアバター２０２との間で姿勢が一致しないものとして、他の部分と区別可能となるように表示態様が変更される部位は、腕２０２ｄ、手２０２ｅ、頭部２０２ｆ、脚２０２ｂ、足２０２ｃ又は胴体２０２ａのうちの少なくともいずれかの部位である。このように表示態様を変更する部分を人体の各パーツに対応させることにより、アバター２０２の表示を第１ユーザ１０９の様々な動きに対応させることができる。また、第２ユーザ３０１は、第１ユーザ１０９のアバター２０２の補正部分をより明確に把握することができる。
【００２５】
また、第１ユーザ１０９とアバター２０２との間に生じる姿勢の差異のうち、第１ユーザ１０９の姿勢とアバター２０２の姿勢とが一致するとみなされる許容範囲は、第１ユーザ１０９の身体のうち、可動部位の方が体幹部位よりも広く設定される。このように、身体の各パーツの動きやすさ、すなわち、位置のずれやすさに応じて、姿勢の一致の許容範囲を適宜変化させることにより、第２ユーザ３０１がアバター２０２の姿勢の補正を視認した時に感じる不自然さをより低減させることができる。
【００２６】
なお、この実施の形態において、コントローラ１０４は、第１ユーザ１０９の姿勢とアバター２０２の姿勢とが一致しない場合に、一致していない部分を、他の部分とは異なる色で出力するが、これに限定されない。すなわち、コントローラ１０４は、第１ユーザ１０９の姿勢とアバター２０２の姿勢とが一致しない部分を、他の部分とは異なる透過率で表示してもよい。また、コントローラ１０４は、第１ユーザ１０９の姿勢とアバター２０２の姿勢とが一致している部分のみをハイライト表示してもよい。また、ＡＲゴーグル３０２に表示される第１ユーザ１０９のアバター２０２の表示態様は、一定の周期で切り替えられてもよい。
【００２７】
また、この実施の形態において、第２ユーザ３０１は車両１０に乗って移動しているが、これに限定されず、電車、飛行機等の移動体に乗って移動していてもよい。また、第２ユーザ３０１がいる空間は、移動体の内部空間に限定されず、コンサートホール、映画館、劇場等であってもよい。
【００２８】
また、この実施の形態において、ユーザ実空間１００の第１ユーザ１０９は横臥した姿勢を取っているが、これに限定されない。例えば、第１ユーザ１０９が立ち上がった姿勢を取っている場合は、仮想空間２００のアバター２０２の脚２０２ｂ及び足２０２ｃが、姿勢が不一致であるとして、他の部分と区別可能な態様で表示される。
【００２９】
上記の車両１０は、本発明に係る移動体に相当する。上記の通信装置１０１は、本発明に係る送信部に相当する。上記の光学センサ１０３、ＶＲベース１０２，１０８、ＶＲトラッカー１０５，１０７及びＶＲゴーグル１０６は、本発明に係る姿勢検出部に相当する。上記のアバター２０２は、本発明に係る第１ユーザ１０９の仮想オブジェクトに相当する。上記のＡＲゴーグル３０２は、本発明に係る表示部に相当する。
【符号の説明】
【００３０】
２…情報処理装置
１０…車両（移動体）
１０１…通信装置（送信部）
１０２，１０８…ＶＲベース（姿勢検出部）
１０３…光学センサ（姿勢検出部）
１０４…コントローラ（出力部）
１０５，１０７…ＶＲトラッカー（姿勢検出部）
１０６…ＶＲゴーグル（姿勢検出部）
１０９…第１ユーザ
２００…仮想空間
２０２…アバター（第１ユーザの仮想オブジェクト）
２０２ａ…胴体
２０２ｂ…脚
２０２ｃ…足
２０２ｄ…腕
２０２ｅ…手
２０２ｆ…頭部
３０１…第２ユーザ
３０２…ＡＲゴーグル（表示部）
【図１】
2020154963.tif 000003
【図２】
2020154963.tif 000004