(57)【要約】【課題】姿勢制御中のユーザーの顔の向きを精度よく特定することのできる姿勢制御システムを提供する。【解決手段】ユーザーの身体の向きを変化させる姿勢制御装置１０により変化するユーザーの身体の向きを示す姿勢データを取得し、ユーザーが頭部に装着して使用する表示装置２０に内蔵されるモーションセンサーにより検出される、実空間内におけるユーザーの顔の向きを示すモーションセンサーデータを取得し、ユーザーの身体の向きと連動して撮影方向が変化するカメラ３０によって撮影されたカメラ画像に基づいて特定される、ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得し、取得した姿勢データ、モーションセンサーデータ、及びカメラ画像データに基づいて、ユーザーの顔の向きを特定する姿勢制御システムである。【選択図】図１
2019082879.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの身体の向きを変化させる姿勢制御装置と、ユーザーが頭部に装着して使用する表示装置と、を含む姿勢制御システムであって、
前記姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得する姿勢データ取得部と、
前記表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するモーションセンサーデータ取得部と、
前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するカメラ画像データ取得部と、
前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定する顔方向特定部と、
を含むことを特徴とする姿勢制御システム。
【請求項２】
請求項１に記載の姿勢制御システムにおいて、
前記カメラは、前記姿勢制御装置の、前記ユーザーの頭部を撮影可能な位置に取り付けられる
ことを特徴とする姿勢制御システム。
【請求項３】
請求項１又は２に記載の姿勢制御システムにおいて、
前記顔方向特定部は、前記姿勢データ、及び前記カメラ画像データに基づいて、実空間内における前記ユーザーの顔の向きを算出し、当該算出結果と、前記モーションセンサーデータとに基づいて、実空間内における前記ユーザーの顔の向きを特定する
ことを特徴とする姿勢制御システム。
【請求項４】
請求項１又は２に記載の姿勢制御システムにおいて、
前記顔方向特定部は、前記姿勢データ、及び前記モーションセンサーデータに基づいて、前記ユーザーの身体の向きを基準とした顔の向きを算出し、当該算出結果と、前記カメラ画像データとに基づいて、前記ユーザーの身体の向きを基準とした顔の向きを特定する
ことを特徴とする姿勢制御システム。
【請求項５】
請求項１から４のいずれか一項に記載の姿勢制御システムにおいて、
前記顔方向特定部が特定した前記ユーザーの顔の向きに対応する方向から、仮想空間の内部を見た様子を示す空間画像を描画し、前記表示装置に表示させる表示制御部をさらに含む
ことを特徴とする姿勢制御システム。
【請求項６】
ユーザーの身体の向きを変化させる姿勢制御装置と、ユーザーが頭部に装着して使用する表示装置と、に接続される情報処理装置であって、
前記姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得する姿勢データ取得部と、
前記表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するモーションセンサーデータ取得部と、
前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するカメラ画像データ取得部と、
前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定する顔方向特定部と、
を含むことを特徴とする情報処理装置。
【請求項７】
ユーザーの身体の向きを変化させる姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得するステップと、
ユーザーが頭部に装着して使用する表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するステップと、
前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するステップと、
前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定するステップと、
を含むことを特徴とする情報処理方法。
【請求項８】
ユーザーの身体の向きを変化させる姿勢制御装置と、ユーザーが頭部に装着して使用する表示装置と、に接続されるコンピュータを、
前記姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得する姿勢データ取得部、
前記表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するモーションセンサーデータ取得部、
前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するカメラ画像データ取得部、及び、
前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定する顔方向特定部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーの姿勢を制御する姿勢制御システム、当該姿勢制御システムを構成する情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、拡張現実や仮想現実といった技術が研究されている。このような技術の一つとして、ユーザーに頭部装着型の表示装置を装着させ、この表示装置に仮想空間内の様子を示す映像を表示させることで、ユーザーが仮想空間内に実際にいるかのような体験をすることのできる技術がある。さらにこの技術において、仮想空間の臨場感を高めたり、現実空間と仮想空間との間の齟齬による違和感を軽減したりするために、ユーザーの身体の向き（以下では単に姿勢という）を変化させる場合がある。具体的には、例えばシートなどにユーザーを固定し、そのシートを回転させることで、ユーザーの姿勢を制御する姿勢制御装置が知られている。このような姿勢制御装置を用いることで、実際の仮想空間内の顔の向きの動きに連動するような姿勢の変化をユーザーに体験させることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した技術においては、ユーザーの姿勢を姿勢制御装置によって変化させながら、この姿勢の変化と連動するように、表示装置に表示する映像を変化させることになる。しかしながら、通常、ユーザーは姿勢制御装置のシートに固定された状態でも、首を動かすなどして顔の向きをさらに変化させることができる。その場合、表示装置に表示する映像は、ユーザーの顔の向きの変化に連動して変化することが好ましい。そのためには、姿勢制御装置によって姿勢制御中のユーザーの顔の向きを、精度よく特定する必要がある。
【０００４】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、姿勢制御装置によって姿勢制御中のユーザーの顔の向きを精度よく特定することのできる姿勢制御システム、情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る姿勢制御システムは、ユーザーの身体の向きを変化させる姿勢制御装置と、ユーザーが頭部に装着して使用する表示装置と、を含む姿勢制御システムであって、前記姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得する姿勢データ取得部と、前記表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するモーションセンサーデータ取得部と、前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するカメラ画像データ取得部と、前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定する顔方向特定部と、を含むことを特徴とする。
【０００６】
本発明に係る情報処理装置は、ユーザーの身体の向きを変化させる姿勢制御装置と、ユーザーが頭部に装着して使用する表示装置と、に接続される情報処理装置であって、前記姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得する姿勢データ取得部と、前記表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するモーションセンサーデータ取得部と、前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するカメラ画像データ取得部と、前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定する顔方向特定部と、を含むことを特徴とする。
【０００７】
本発明に係る情報処理方法は、ユーザーの身体の向きを変化させる姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得するステップと、ユーザーが頭部に装着して使用する表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するステップと、前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するステップと、前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定するステップと、を含むことを特徴とする。
【０００８】
本発明に係るプログラムは、ユーザーの身体の向きを変化させる姿勢制御装置と、ユーザーが頭部に装着して使用する表示装置と、に接続されるコンピュータを、前記姿勢制御装置により変化するユーザーの身体の向きを示す姿勢データを取得する姿勢データ取得部、前記表示装置に内蔵されるモーションセンサーにより検出される、実空間内における前記ユーザーの顔の向きを示すモーションセンサーデータを取得するモーションセンサーデータ取得部、前記ユーザーの身体の向きと連動して撮影方向が変化するカメラによって撮影されたカメラ画像に基づいて特定される、前記ユーザーの身体の向きを基準とした顔の向きを示すカメラ画像データを取得するカメラ画像データ取得部、及び、前記姿勢データ、前記モーションセンサーデータ、及び前記カメラ画像データに基づいて、前記ユーザーの顔の向きを特定する顔方向特定部、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る姿勢制御システムの概要図である。
【図２】本発明の実施の形態に係る姿勢制御システムのシステム構成図である。
【図３】本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。
【図４】本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面に基づき詳細に説明する。
【００１１】
図１は、本発明の一実施形態に係る姿勢制御システム１をユーザーが使用する様子を示す概要図である。また、図２は、姿勢制御システム１のシステム構成図である。これらの図に示すように、姿勢制御システム１は、姿勢制御装置１０と、頭部装着型の表示装置２０と、カメラ３０と、情報処理装置４０と、を含んで構成されている。
【００１２】
姿勢制御装置１０は、ユーザーの身体の向きを変化させるための装置であって、図１及び図２に示すように、シート１１と、支持体１２と、駆動部１３と、エンコーダー１４と、を含んで構成されている。
【００１３】
ユーザーは、シート１１に座った状態で、その身体を固定される。シート１１は支持体１２に支持されており、支持体１２は駆動部１３から伝達される動力によって複数の回転方向に回転可能になっている。駆動部１３は、モーター等を含んで構成され、支持体１２を回転運動させることによってユーザーが固定された状態のシート１１の向きを変化させる。これにより姿勢制御装置１０は、シート１１に座ったユーザーの身体の向きを変化させることができる。
【００１４】
以下では、実空間内におけるユーザーの身体の向いている方向を、身体方向という。すなわち、身体方向とはユーザーの胴体の正面方向である。また、実空間におけるユーザーの顔の向き（顔の正面方向）を、絶対顔方向という。本実施形態では、ユーザーの首や頭部はシート１１に完全に固定されていない。そのためユーザーは、シート１１に座った状態で首を回すなどして顔の向きを変化させることができる。すなわち、ユーザーの身体方向と絶対顔方向は一致するとは限らない。
【００１５】
本実施形態において、駆動部１３は、互いに直交する３つの回転軸のそれぞれを回転中心として、シート１１を回転することができるものとする。具体的に駆動部１３は、図１に示すようなＸ軸、Ｙ軸、Ｚ軸のそれぞれを回転中心としてシート１１を回転させる。Ｚ軸は重力方向に沿った回転軸であって、Ｘ軸及びＹ軸は水平面に平行な回転軸である。このような３軸の回転を組み合わせることで、駆動部１３はユーザーの身体方向を全天周の任意の方向に制御することができる。以下では、現実空間に設定されたこの３つの回転軸によって表される座標系を、ワールド座標系という。これに対して、シート１１に設定され、駆動部１３の動作によってシート１１とともに回転する座標系を、ローカル座標系という。
【００１６】
エンコーダー１４は、駆動部１３によるシート１１の回転量を測定し、その測定結果を出力する。後述する情報処理装置４０は、このエンコーダー１４の出力を参照することで、シート１１の向き、すなわちワールド座標系におけるユーザーの身体方向を特定する。
【００１７】
表示装置２０は、ヘッドマウントディスプレイやスマートグラス等であって、ユーザーが頭部に装着して使用する。表示装置２０は、表示素子２１と、モーションセンサー２２と、発光素子２３と、を含んで構成されている。
【００１８】
表示素子２１は、情報処理装置４０から送信される映像を表示する。この映像が、ユーザーの眼前に提示される。表示素子２１は、ユーザーの右目、及び左目のそれぞれに互いに異なる映像を表示可能であってよい。これにより、視差による立体映像をユーザーに提示することができる。
【００１９】
モーションセンサー２２は、例えば加速度センサーやジャイロスコープ、地磁気センサーなどであって、実空間内における表示装置２０の向きの変化を測定する。表示装置２０はユーザーの頭部に固定された状態で使用されるため、表示装置２０の向きはそのままワールド座標系における絶対顔方向を示すものになる。つまり、モーションセンサー２２の測定結果が十分精度よく表示装置２０の向きを反映していれば、情報処理装置４０はモーションセンサー２２の測定結果だけを参照して絶対顔方向を特定することができる。しかしながら、モーションセンサー２２は、その特性により、精度よく検出しにくい向きが存在したり、使用中に徐々に誤差が蓄積したりすることがある。そのため、モーションセンサー２２だけでは正確に絶対顔方向を特定するのは難しい場合がある。
【００２０】
そこで本実施形態では、表示装置２０の外部からの観測によって得られる表示装置２０の向きの測定結果をモーションセンサー２２の検出結果と組み合わせて、表示装置２０の向きを特定する。具体的に、表示装置２０の前面には複数の発光素子２３が配置されており、情報処理装置４０からの指示に応じて発光する。この光をカメラ３０で撮影することによって、表示装置２０の向きの変化を特定することができる。
【００２１】
ただし、本実施形態ではシート１１自体が様々な方向に回転するため、姿勢制御装置１０の外側にカメラ３０を設置して表示装置２０を撮影しようとすると、シート１１や支持体１２に隠れるなどして表示装置２０を撮影できなくなることがある。そこで本実施形態では、カメラ３０は姿勢制御装置１０に取り付けられている。より具体的に、カメラ３０は、図１に示すように、シート１１に座ったユーザーの正面に常に位置するように、シート１１とともに回転する支持体１２にカメラ３０が固定されている。これにより、シート１１に対する相対的なカメラ３０の撮影方向は変化しないが、実空間におけるカメラ３０の撮影方向は、シート１１の回転に連動して変化するようになる。つまり、カメラ３０の位置、及び撮影方向は、ローカル座標系内で常に固定されている。そして、シート１１がどのような向きに回転しても、シート１１に座っているユーザーの頭部近辺がカメラ３０の撮影範囲に含まれるようになる。カメラ３０の撮影画像には表示装置２０に設けられた発光素子２３の光が写っているため、その光の位置を解析することで、情報処理装置４０は、カメラ３０から見た表示装置２０の向きの変化を特定できる。カメラ３０は、撮影した映像をリアルタイムで情報処理装置４０に対して送信する。
【００２２】
情報処理装置４０は、据え置き型ゲーム機やパーソナルコンピュータ等であって、図２に示すように、制御部４１と、記憶部４２と、インタフェース部４３と、を含んで構成されている。なお、情報処理装置４０は、姿勢制御装置１０から離れた位置に設置されてもよいし、姿勢制御装置１０内に設置されてもよい。情報処理装置４０と表示装置２０とを有線で通信接続する場合、姿勢制御装置１０内に情報処理装置４０を設置することで、通信ケーブルによる接続が容易になる。
【００２３】
制御部４１は、少なくとも一つのプロセッサーを含んで構成され、記憶部４２に記憶されているプログラムに従って各種の情報処理を実行する。制御部４１が実行する処理の具体例については、後述する。記憶部４２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部４１が実行するプログラム、及び当該プログラムによる処理の対象となるデータを記憶する。
【００２４】
インタフェース部４３は、無線、又は有線で姿勢制御装置１０、表示装置２０、及びカメラ３０のそれぞれと接続され、これらの装置との間で各種のデータを送受信する。具体的にインタフェース部４３は、姿勢制御装置１０に対して制御命令を送信して駆動部１３を動作させるとともに、エンコーダー１４による測定結果を取得する。また、表示素子２１が表示すべき映像信号を表示装置２０に対して送信するとともに、モーションセンサー２２による測定結果を表示装置２０から取得する。また、カメラ３０による撮影画像を受信する。
【００２５】
以下、情報処理装置４０が実現する機能について、図３の機能ブロック図を用いて説明する。図３に示すように、情報処理装置４０は、機能的に、姿勢データ取得部５１と、モーションセンサーデータ取得部５２と、カメラ画像データ取得部５３と、顔方向特定部５４と、空間画像表示制御部５５と、を含んで構成されている。これらの機能は、制御部４１が記憶部４２に格納されているプログラムを実行することによって実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置４０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【００２６】
姿勢データ取得部５１は、周期的にエンコーダー１４の測定結果を取得する。そして、この測定結果を用いて、実空間内におけるシート１１の向きを特定する。以下では、エンコーダー１４の測定結果に基づいて特定されたシート１１の向きを表すデータを、姿勢データという。この姿勢データは、ユーザーの身体方向を表している。姿勢データは、例えばワールド座標系の方向ベクトルによって表される。
【００２７】
モーションセンサーデータ取得部５２は、周期的に表示装置２０内のモーションセンサー２２による測定結果を取得する。そして、この測定結果を用いて、その時点における実空間内の表示装置２０の向きを特定する。以下では、モーションセンサー２２の測定結果に基づいて特定された表示装置２０の向きを表すデータを、モーションセンサーデータという。モーションセンサーデータは、姿勢データと同様、ワールド座標系の方向ベクトルによって表されてよい。このモーションセンサーデータは、ユーザーの絶対顔方向を表していると想定される。ただし、モーションセンサー２２の測定精度等の問題により、現実の絶対顔方向からはずれている可能性がある。
【００２８】
カメラ画像データ取得部５３は、周期的にカメラ３０によって撮影されたカメラ画像を取得し、そのカメラ画像内に写っている発光素子２３の光の位置、及び大きさに基づいて、カメラ３０の撮影位置から見た表示装置２０の向きを特定する。以下では、カメラ画像に基づいて特定された表示装置２０の向きを表すデータを、カメラ画像データという。前述したように、カメラ３０はシート１１と連動して撮影方向が変化するため、カメラ画像データは、シート１１の向き（すなわち、ユーザーの身体方向）を基準としたユーザーの顔の向きを表すことになる。つまり、カメラ画像データは、ワールド座標系ではなくローカル座標系におけるユーザーの顔の向きを表している。カメラ画像データは、例えばローカル座標系の方位ベクトルによって表される。また、以下では、ローカル座標系におけるユーザーの顔の向きを、相対顔方向という。
【００２９】
顔方向特定部５４は、姿勢データ、モーションセンサーデータ、及びカメラ画像データに基づいて、ユーザーの顔方向を精度よく特定する。具体的に顔方向特定部５４は、絶対顔方向（実空間内における絶対的な顔の向き）、及び相対顔方向（身体方向を基準とした顔の向き）のいずれか一方、又はその両方を特定する。
【００３０】
絶対顔方向を特定する場合、まず顔方向特定部５４は、姿勢データが表す身体方向に対してカメラ画像データが表す方向を加算することによって、ユーザーの絶対顔方向を算出する。ここでいう加算は、同じ座標系内で二つの方向を組み合わせる演算を指しており、双方の方向が同じ大きさの方向ベクトルによって表されている場合には、これらの方向ベクトル同士の加算であってよい。前述したように、カメラ画像データは身体方向を基準としたユーザーの顔の向きを表しているので、身体方向にこのカメラ画像データが表す方向を加算することによって、ユーザーの絶対顔方向を算出できる。一方、モーションセンサーデータは、そのままユーザーの絶対顔方向を表していると想定される。そこで顔方向特定部５４は、姿勢データ、及びカメラ画像データによって算出された絶対顔方向を用いて、モーションセンサーデータが表す方向を補正することによって、絶対顔方向を特定する。このように、姿勢データ、カメラ画像データ、及びモーションセンサーデータを組み合わせることによって、絶対顔方向を精度よく特定することができる。
【００３１】
また、相対顔方向を特定する場合、まず顔方向特定部５４は、モーションセンサーデータが表す絶対顔方向から姿勢データが表す身体方向を減算することによって、身体方向を基準としたローカル座標系の顔方向（相対顔方向）を算出する。ここでいう減算は、同じ座標系内で一方の方向を基準とした他方の方向を求める演算を指しており、双方の方向が同じ大きさの方向ベクトルによって表されている場合には、これらの方向ベクトル同士の減算であってよい。続いて顔方向特定部５４は、モーションセンサーデータ、及び姿勢データによって算出された相対顔方向を用いて、カメラ画像データが表す方向を補正することによって、相対顔方向を特定する。このように、絶対顔方向を特定する場合と同様、３つのデータを組み合わせることによって、顔方向特定部５４は相対顔方向を精度よく特定できる。
【００３２】
空間画像表示制御部５５は、顔方向特定部５４が特定した顔方向を用いて、仮想空間内の様子を表す空間画像を描画し、表示装置２０に表示させる。具体的に空間画像表示制御部５５は、ユーザー、及びその他のオブジェクトが配置された仮想空間を構築し、その仮想空間内でユーザーの姿勢を変化させる処理を行う。さらに、仮想空間内におけるユーザーの姿勢の変化に連動するように、現実空間におけるユーザーの姿勢を変化させるための制御命令を姿勢制御装置１０に対して出力する。
【００３３】
さらに空間画像表示制御部５５は、顔方向特定部５４が特定した顔方向に基づいて、仮想空間内におけるユーザーの顔の向きを決定し、その顔の向きから仮想空間を見た様子を示す空間画像を描画する。このとき空間画像表示制御部５５は、左右に並んだ二つの視点のそれぞれから仮想空間を見た様子を示す２つの空間画像を描画してもよい。これにより、仮想空間の様子を立体的に認識可能な立体画像を表示装置２０に表示させることができる。なお、空間画像表示制御部５５は、顔方向特定部５４によって特定された絶対顔方向に基づいて仮想空間内における顔の向きを決定してもよいし、顔方向特定部５４によって特定された相対顔方向と仮想空間内におけるユーザーの姿勢情報とに基づいて顔の向きを決定してもよい。
【００３４】
以下、本実施形態に係る情報処理装置４０が実行する処理の流れの具体例について、図４のフロー図を用いて説明する。
【００３５】
まず空間画像表示制御部５５が、ユーザーの姿勢の変化内容を決定し、その変化を発生させる制御命令を姿勢制御装置１０に対して出力する（Ｓ１）。これを受けて姿勢制御装置１０の駆動部１３は、シート１１を回転させる駆動制御を開始する。
【００３６】
その後、姿勢データ取得部５１は、エンコーダー１４の測定結果を用いてユーザーの身体方向を表す姿勢データを算出する（Ｓ２）。さらに、モーションセンサーデータ取得部５２が、モーションセンサー２２の測定結果を用いてユーザーの絶対顔方向を表すモーションセンサーデータを算出する（Ｓ３）。また、カメラ画像データ取得部５３が、カメラ３０の撮影画像を用いてユーザーの相対顔方向を表すカメラ画像データを算出する（Ｓ４）。
【００３７】
続いて、顔方向特定部５４が、Ｓ２で得られた姿勢データとＳ４で得られたカメラ画像データとを用いて、ユーザーの絶対顔方向を算出する（Ｓ５）。Ｓ５で算出された方向データを用いてＳ３で得られたモーションセンサーデータを補正することによって、最終的なユーザーの絶対顔方向を特定する（Ｓ６）。
【００３８】
空間画像表示制御部５５は、Ｓ６で特定された絶対顔方向を基準として、仮想空間内の様子を示す空間画像を描画し、表示装置２０に対して出力する（Ｓ７）。
【００３９】
その後、空間画像表示制御部５５は、ユーザーの姿勢に変化を生じさせるべきか否かを判定する（Ｓ８）。そして、Ｓ１で出力した内容からユーザーの姿勢に変化が生じるのであれば、Ｓ１に戻って新たな姿勢変化を発生させる制御命令を出力する。一方、ユーザーの姿勢が維持される場合、Ｓ２に戻って次のフレームの空間画像を描画する処理を実行する。このようなフローを繰り返すことによって、ユーザーが仮想空間内で姿勢を変化させながら、自身の顔も動かして仮想空間を見回した際に見えると想定される仮想空間の景色を、ユーザーに提示し続けることができる。同時に、仮想空間での姿勢変化に連動するように現実空間におけるユーザーの体の向きも変化するため、ユーザーは重力の変化などを体験することができ、仮想空間の臨場感を高めることができる。
【００４０】
以上説明したように、本実施形態に係る情報処理装置４０によれば、ユーザーの身体方向を表す姿勢データ、表示装置２０のモーションセンサー２２によって得られたモーションセンサーデータ、及び、シート１１と連動するカメラ３０によって撮影されたユーザーの顔方向を表すカメラ画像データの３つを組み合わせることで、精度よくユーザーの顔方向を特定することができる。
【００４１】
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では、姿勢データは姿勢制御装置１０が備えるエンコーダー１４の測定結果に基づいて算出されることとしたが、姿勢データはその他の方法で特定されることとしてもよい。例えば情報処理装置４０は、姿勢制御装置１０を動作させるために出力する制御命令の内容に基づいて、その時点で想定される姿勢を特定してもよい。また、エンコーダー１４以外の各種のセンサーの検出結果を用いて、ユーザーの身体の向きを特定してもよい。
【００４２】
また、以上の説明では、姿勢制御装置１０はシート１１に座った状態でユーザーの身体の向きを変化させることとしたが、これに限らず、ユーザーを何らかの台座に固定し、その身体の向きを変化させることができる各種の装置であってよい。例えば姿勢制御装置１０は、ステージ上に横になった状態のユーザーの身体の向きを変化させてもよい。また、以上の説明では姿勢制御装置１０は互いに直交する３つの回転軸を中心に任意の向きにシート１１を回転可能であることとしたが、これに限らず、１又は２の回転軸だけを中心に回転可能であってもよいし、互いに直交しない回転軸に沿ってユーザーの身体を回転させてもよい。また、特定の回転軸について限られた角度範囲内でのみ回転可能であってもよい。
【００４３】
また、以上の説明では表示装置２０に発光素子２３が配置されることとしたが、カメラ３０によって撮影されたカメラ画像に基づいて表示装置２０の向きを特定可能であれば、発光素子２３はなくともよい。例えば表示装置２０の表面には、単に視認可能なマーカーを配置し、情報処理装置４０はそのマーカーの位置に基づいて表示装置２０の向きを特定してもよい。
【００４４】
また、以上の説明ではカメラ３０は姿勢制御装置１０に取り付けられることとしたが、カメラ３０は表示装置２０側に取り付けられてもよい。この場合にも、ユーザーの身体の向きの変化に連動してカメラ３０の撮影方向も変化することになる。この場合、カメラ３０の撮影範囲に含まれるように、姿勢制御装置１０にマーカーを配置することとする。このマーカーは、姿勢制御装置１０による姿勢制御と連動して実空間内を移動する。そのため、表示装置２０を装着したユーザーが顔の向きを変化させなければ、表示装置２０に取り付けられたカメラ３０から見たマーカーの位置は常に固定されることになる。逆にカメラ画像内のマーカーの位置が変化した場合、その変化はユーザーの顔の向きの変化によるものと想定される。そのため、カメラ３０を姿勢制御装置１０に取り付けた場合と同様に、表示装置２０に取り付けたカメラ３０により撮影されたカメラ画像内のマーカーの位置を解析することによって、ユーザーの顔の向きの変化を算出することができる。
【００４５】
また、以上の説明では情報処理装置４０内で姿勢データ、モーションセンサーデータ、及びカメラ画像データを算出することとしたが、これらのデータは他の装置で算出され、情報処理装置４０に提供されてもよい。
【符号の説明】
【００４６】
１  姿勢制御システム、１０  姿勢制御装置、１１  シート、１２  支持体、１３  駆動部、１４  エンコーダー、２０  表示装置、２１  表示素子、２２  モーションセンサー、２３  発光素子、３０  カメラ、４０  情報処理装置、４１  制御部、４２  記憶部、４３  インタフェース部、５１  姿勢データ取得部、５２  モーションセンサーデータ取得部、５３  カメラ画像データ取得部、５４  顔方向特定部、５５  空間画像表示制御部。
【図１】
2019082879.tif 000003
【図２】
2019082879.tif 000004
【図３】
2019082879.tif 000005
【図４】
2019082879.tif 000006