(57)【要約】【課題】立体表示されたオブジェクトに対してユーザーが手を動かして行う操作入力をより容易に実現することのできる情報処理装置を提供する。【解決手段】ユーザーが頭部に装着して使用する映像表示装置４０に操作対象となるオブジェクトを含んだ立体映像を表示させ、実空間内においてオブジェクトが存在するとユーザーが認識する認識位置と、実空間内におけるユーザーの手の位置から所定量だけずれたシフト位置と、が一致する場合に、ユーザーが手を動かすことによるオブジェクトに対するジェスチャー操作を受け付ける情報処理装置である。【選択図】図７
2019023767.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーが頭部に装着して使用する映像表示装置と接続される情報処理装置であって、
操作対象となるオブジェクトを含んだ立体映像を前記映像表示装置に表示させる映像表示制御部と、
実空間内における前記ユーザーの手の位置を特定する特定部と、
実空間内において前記オブジェクトが存在すると前記ユーザーが認識する認識位置と、前記特定された手の位置から所定量だけずれたシフト位置と、が一致する場合に、前記ユーザーが手を動かすことによる前記オブジェクトに対するジェスチャー操作を受け付ける操作受付部と、
を含むことを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記操作受付部は、第１の操作モードにおいては、前記認識位置と前記シフト位置とが一致する場合に前記ジェスチャー操作を受け付け、当該第１の操作モードと異なる第２の操作モードにおいては、前記認識位置と前記特定された手の位置とが一致する場合に、前記ジェスチャー操作を受け付け、
前記情報処理装置は、所与の条件に基づいて前記第１の操作モードと前記第２の操作モードとを切り替える切替制御部をさらに含む
ことを特徴とする情報処理装置。
【請求項３】
請求項２に記載の情報処理装置において、
前記切替制御部は、前記ユーザーの所定の姿勢の変化を検出した場合に、前記第２の操作モードから前記第１の操作モードへの切り替えを行う
ことを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置において、
前記切替制御部は、前記映像表示装置の向きを特定することで、前記所定の姿勢の変化を検出する
ことを特徴とする情報処理装置。
【請求項５】
請求項２に記載の情報処理装置において、
前記切替制御部は、前記ユーザーの手の所定の動きを検出した場合に、前記第２の操作モードから前記第１の操作モードへの切り替えを行う
ことを特徴とする情報処理装置。
【請求項６】
請求項５に記載の情報処理装置において、
前記切替制御部は、前記ユーザーが手を下ろす動作を前記所定の動きとして検出する
ことを特徴とする情報処理装置。
【請求項７】
請求項５に記載の情報処理装置において、
前記切替制御部は、前記ユーザーが手を反転させる動作を前記所定の動きとして検出する
ことを特徴とする情報処理装置。
【請求項８】
請求項２に記載の情報処理装置において、
前記切替制御部は、前記ユーザーが発する所定の音声を検出した場合に、前記第１の操作モードと前記第２の操作モードとを切り替える
ことを特徴とする情報処理装置。
【請求項９】
ユーザーが頭部に装着して使用する映像表示装置に、操作対象となるオブジェクトを含んだ立体映像を表示させるステップと、
実空間内における前記ユーザーの手の位置を特定するステップと、
実空間内において前記オブジェクトが存在すると前記ユーザーが認識する認識位置と、前記特定された手の位置から所定量だけずれたシフト位置と、が一致する場合に、前記ユーザーが手を動かすことによる前記オブジェクトに対するジェスチャー操作を受け付けるステップと、
を含むことを特徴とする情報処理方法。
【請求項１０】
ユーザーが頭部に装着して使用する映像表示装置と接続されるコンピュータを、
操作対象となるオブジェクトを含んだ立体映像を前記映像表示装置に表示させる映像表示制御部、
実空間内における前記ユーザーの手の位置を特定する特定部、及び、
実空間内において前記オブジェクトが存在すると前記ユーザーが認識する認識位置と、前記特定された手の位置から所定量だけずれたシフト位置と、が一致する場合に、前記ユーザーが手を動かすことによる前記オブジェクトに対するジェスチャー操作を受け付ける操作受付部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーが頭部に装着して使用する映像表示装置に立体映像を表示させる情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイのように、ユーザーが頭部に装着して使用する映像表示装置がある。このタイプの映像表示装置は、立体表示により、実際には存在しない仮想的なオブジェクトがユーザーの目の前にあるかのように表示することができる。さらにこの映像表示装置は、ユーザーの手の動きを検出する技術と組み合わせて用いられることがある。このような技術によれば、ユーザーは、目の前に表示されている映像に実際に触れるかのように手を動かして、コンピュータに対する操作入力を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した技術による操作入力を実行する場合、ユーザーは、映像が映っている空中の特定の場所まで手を移動させたり、手を持ち上げた状態を維持したりする必要が生じる。そのため、ユーザーにとって面倒であったり、疲労しやすかったりする場合がある。
【０００４】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、立体表示されたオブジェクトに対してユーザーが手を動かして行う操作入力をより容易に実現することのできる情報処理装置、映像表示装置の制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る情報処理装置は、ユーザーが頭部に装着して使用する映像表示装置と接続される情報処理装置であって、操作対象となるオブジェクトを含んだ立体映像を前記映像表示装置に表示させる映像表示制御部と、実空間内における前記ユーザーの手の位置を特定する特定部と、実空間内において前記オブジェクトが存在すると前記ユーザーが認識する認識位置と、前記特定された手の位置から所定量だけずれたシフト位置と、が一致する場合に、前記ユーザーが手を動かすことによる前記オブジェクトに対するジェスチャー操作を受け付ける操作受付部と、を含むことを特徴とする。
【０００６】
また、本発明に係る情報処理方法は、ユーザーが頭部に装着して使用する映像表示装置に、操作対象となるオブジェクトを含んだ立体映像を表示させるステップと、実空間内における前記ユーザーの手の位置を特定するステップと、実空間内において前記オブジェクトが存在すると前記ユーザーが認識する認識位置と、前記特定された手の位置から所定量だけずれたシフト位置と、が一致する場合に、前記ユーザーが手を動かすことによる前記オブジェクトに対するジェスチャー操作を受け付けるステップと、を含むことを特徴とする。
【０００７】
また、本発明に係るプログラムは、ユーザーが頭部に装着して使用する映像表示装置と接続されるコンピュータを、操作対象となるオブジェクトを含んだ立体映像を前記映像表示装置に表示させる映像表示制御部、実空間内における前記ユーザーの手の位置を特定する特定部、及び、実空間内において前記オブジェクトが存在すると前記ユーザーが認識する認識位置と、前記特定された手の位置から所定量だけずれたシフト位置と、が一致する場合に、前記ユーザーが手を動かすことによる前記オブジェクトに対するジェスチャー操作を受け付ける操作受付部、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る情報処理装置を含んだ映像表示システムの構成を示す構成ブロック図である。
【図２】映像表示装置の外観を示す斜視図である。
【図３】本実施形態に係る情報処理装置の機能を示す機能ブロック図である。
【図４】ターゲットを含む立体映像の生成方法を説明する図である。
【図５】直接操作モードにおける操作の様子を示す図である。
【図６】直接操作モードの実行中における表示画像の一例を示す図である。
【図７】間接操作モードにおける操作の様子を示す図である。
【図８】間接操作モードの実行中における表示画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面に基づき詳細に説明する。
【００１０】
図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の構成を示す構成ブロック図である。同図に示されるように、映像表示システム１は、情報処理装置１０と、操作デバイス２０と、中継装置３０と、映像表示装置４０と、を含んで構成されている。
【００１１】
情報処理装置１０は、映像表示装置４０が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図１に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。
【００１２】
制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
【００１３】
インタフェース部１３は、中継装置３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０及び中継装置３０と接続される。具体的にインタフェース部１３は、情報処理装置１０が供給する映像や音声を中継装置３０に送信するために、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのマルチメディアインタフェースを含んでよい。また、インタフェース部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＵＳＢ等のデータ通信インタフェースを含んでいる。情報処理装置１０は、このデータ通信インタフェースを介して、中継装置３０経由で映像表示装置４０から各種の情報を受信したり、制御信号等を送信したりする。また、このデータ通信インタフェースを介して、操作デバイス２０から送信される操作信号を受け付ける。
【００１４】
操作デバイス２０は、家庭用ゲーム機のコントローラやキーボードなどであって、ユーザーからの操作入力を受け付ける。本実施形態では、ユーザーはこの操作デバイス２０に対する入力操作と、後述するジェスチャー操作の二種類の方法で情報処理装置１０に対する指示が可能になっている。
【００１５】
中継装置３０は、有線又は無線のいずれかにより映像表示装置４０と接続されており、情報処理装置１０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を映像表示装置４０に対して出力する。このとき中継装置３０は、必要に応じて、供給された映像データに対して、映像表示装置４０の光学系によって生じる歪みを打ち消す補正処理などを実行し、補正された映像信号を出力してもよい。なお、中継装置３０から映像表示装置４０に供給される映像信号は、左目用映像、及び右目用映像の二つの映像を含んでいる。また、中継装置３０は、映像データ以外にも、音声データや制御信号など、情報処理装置１０と映像表示装置４０との間で送受信される各種の情報を中継する。
【００１６】
映像表示装置４０は、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。映像表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、両目での映像の閲覧に対応している。すなわち映像表示装置４０は、ユーザーの右目及び左目それぞれの目の前に映像を結像させる。また、映像表示装置４０は両眼視差を利用した立体映像を表示可能に構成される。図１に示すように、映像表示装置４０は、映像表示素子４１、光学素子４２、ステレオカメラ４３、モーションセンサー４４、及び通信インタフェース４５を含んで構成される。また、図２は映像表示装置４０の外観の一例を示している。
【００１７】
映像表示素子４１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継装置３０から供給される映像信号に応じた映像を表示する。映像表示素子４１は、左目用映像、及び右目用映像の２つの映像を表示する。なお、映像表示素子４１は、左目用映像及び右目用映像を並べて表示する１つの表示素子であってもよいし、それぞれの映像を独立に表示する２つの表示素子によって構成されてもよい。また、公知のスマートフォン等を映像表示素子４１として用いてもよい。また、映像表示装置４０は、ユーザーの網膜に直接映像を投影する網膜照射型（網膜投影型）の装置であってもよい。この場合、映像表示素子４１は、光を発するレーザーとその光を走査するＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどによって構成されてもよい。
【００１８】
光学素子４２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子４１が発する映像の光を透過又は屈折させて、ユーザーの左右それぞれの目に入射させる。具体的に、映像表示素子４１が表示する左目用映像は、光学素子４２を経由してユーザーの左目に入射し、右目用映像は光学素子４２を経由してユーザーの右目に入射する。これによりユーザーは、映像表示装置４０を頭部に装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧することができる。なお、本実施形態において映像表示装置４０は、ユーザーが外界の様子を視認することができない非透過型の映像表示装置であるものとする。
【００１９】
ステレオカメラ４３は、ユーザーの左右方向に沿って並んで配置された複数のカメラによって構成されている。図２に示すように、ステレオカメラ４３はユーザーの眼の位置近傍に前方を向けて配置されている。これによりステレオカメラ４３は、ユーザーの視野と近い範囲を撮影可能になっている。ステレオカメラ４３による撮影画像は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、これら複数のカメラの撮影画像内に写っている被写体の視差を特定することによって、その被写体までの距離を算出することができる。これにより情報処理装置１０は、ユーザーの視界内に写っている各物体までの距離を表す距離画像（デプスマップ）を生成する。このステレオカメラ４３の撮影範囲内にユーザーの手が写っていれば、情報処理装置１０はユーザーの手の実空間内における位置を特定することができる。
【００２０】
モーションセンサー４４は、映像表示装置４０の位置や向き、動きに関する各種の情報を測定する。例えばモーションセンサー４４は、加速度センサー、ジャイロスコープ、又は地磁気センサーなどを含んでよい。モーションセンサー４４の測定結果は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、映像表示装置４０の動きや向きの変化を特定するために、このモーションセンサー４４の測定結果を用いることができる。具体的に情報処理装置１０は、加速度センサーの測定結果を用いることで、映像表示装置４０の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーの測定結果を用いることで、映像表示装置４０の回転運動を検出できる。なお、情報処理装置１０は、映像表示装置４０の動きを検出するために、モーションセンサー４４の測定結果だけでなく、ステレオカメラ４３の撮影画像を用いてもよい。具体的には、撮影画像内の被写体の移動や背景の変化を特定することによって、映像表示装置４０の向きや位置の変化を特定することができる。
【００２１】
通信インタフェース４５は、中継装置３０との間でデータ通信を行うためのインタフェースである。例えば映像表示装置４０が中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈなどの無線通信によりデータの送受信を行う場合、通信インタフェース４５は通信用のアンテナ、及び通信モジュールを含む。また、通信インタフェース４５は、中継装置３０との間で有線によるデータ通信を行うためのＨＤＭＩやＵＳＢ等の通信インタフェースを含んでもよい。
【００２２】
次に、情報処理装置１０が実現する機能について図３を用いて説明する。図３に示すように、情報処理装置１０は、機能的に、映像表示制御部５１と、位置特定部５２と、操作受付部５３と、モード切替制御部５４と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【００２３】
映像表示制御部５１は、映像表示装置４０が表示すべき映像を生成する。本実施形態では、映像表示制御部５１は、視差による立体視が可能な立体映像を表示用の映像として生成する。すなわち、映像表示制御部５１は、立体視のための右目用画像、及び左目用画像の二つの画像を表示用画像として生成して、中継装置３０に対して出力する。
【００２４】
さらに本実施形態では、映像表示制御部５１は、ユーザーによる操作の対象となるオブジェクトを含んだ映像を表示することとする。以下では、ユーザーによる操作の対象となるオブジェクトをターゲットＴと表記する。映像表示制御部５１は、ターゲットＴが例えばユーザーの目の前に存在するとユーザーに感じられるように、右目用画像、及び左目用画像それぞれにおけるターゲットＴの位置を決定する。
【００２５】
このような表示用画像の生成方法の具体例について、説明する。映像表示制御部５１は、仮想空間内にターゲットＴ、並びに二つの視点カメラＣ１及びＣ２を配置する。図４は、このような仮想空間の様子を示す図であって、ターゲットＴ、並びに二つの視点カメラＣ１及びＣ２を上方から見た様子を示している。同図に示すように、二つの視点カメラＣ１及びＣ２は、左右方向に沿って所定距離だけ離れて並んで配置されている。この状態において映像表示制御部５１は、視点カメラＣ１から仮想空間内を見た様子を示す画像を描画して左目用映像を生成する。また、視点カメラＣ２から仮想空間内を見た様子を示す画像を描画して右目用映像を生成する。このようにして生成された表示用映像を映像表示装置４０が表示することで、ユーザーは、自分の前方にターゲットＴが存在するかのように感じられる立体映像を閲覧することができる。
【００２６】
実空間においてユーザーが認識するターゲットＴの見かけの位置は、仮想空間内における二つの視点カメラＣ１及びＣ２に対するターゲットＴの相対位置に応じて決定される。すなわち、仮想空間内においてターゲットＴを二つの視点カメラＣ１及びＣ２から離れた位置に配置して表示用画像を生成した場合、ユーザーから見てターゲットＴは遠くに存在するように感じられる。また、ターゲットＴを二つの視点カメラＣ１及びＣ２に近づければ、ユーザーは実空間内においてターゲットＴが自分に近づいているように感じられる。以下では、ターゲットＴが存在しているとユーザーが認識する実空間内の位置を、ターゲットＴの認識位置という。
【００２７】
なお、映像表示制御部５１は、ユーザーが顔の向きを変化させても実空間内におけるターゲットＴの認識位置が変化しないように表示内容を制御してもよいし、顔の向きの変化に応じてターゲットＴの認識位置を変化させてもよい。前者の場合、映像表示制御部５１は、仮想空間内におけるターゲットＴの位置は固定したまま、ユーザーの顔の向きの変化に応じて視点カメラＣ１及びＣ２の向きを変化させる。そして、変化する視点カメラＣ１及びＣ２のそれぞれから仮想空間内を見た様子を示す表示用画像を生成する。これにより、ターゲットＴが実空間内に固定されているかのようにユーザーに感じさせることができる。
【００２８】
位置特定部５２は、映像表示制御部５１がターゲットＴを含む立体映像を表示している間、ステレオカメラ４３の撮影画像を用いて実空間内におけるユーザーの手の位置を特定する。前述したように、ステレオカメラ４３の撮影画像によりデプスマップが生成される。位置特定部５２は、このデプスマップ内において他の背景オブジェクトより前面（ユーザーに近い側）に存在する所定形状のオブジェクトを、ユーザーの手として特定する。
【００２９】
操作受付部５３は、ユーザーのターゲットＴに対する操作を受け付ける。特に本実施形態では、ユーザーの手の動きを操作入力として受け付けることとする。具体的に操作受付部５３は、位置特定部５２によって特定されたユーザーの手の位置とターゲットＴの認識位置との対応関係に基づいて、ユーザーがターゲットＴに対する操作を行ったか否かを判定する。以下では、ユーザーが実空間内で手を動かすことによるターゲットＴに対する操作を、ジェスチャー操作という。
【００３０】
さらに本実施形態では、操作受付部５３は互いに異なる二種類の操作モードでユーザーのジェスチャー操作を受け付けることとする。この二種類の操作モードを、以下では直接操作モードと間接操作モードという。この二種類の操作モードは、実空間内におけるターゲットＴの認識位置とユーザーの手の位置との対応関係が互いに異なっている。
【００３１】
直接操作モードは、実空間内におけるユーザーの手の位置がターゲットＴの認識位置に一致する場合にユーザーのジェスチャ−操作を受け付ける操作モードである。図５は、この直接操作モードによりユーザーが操作を行っている様子を示す図である。図５では、ターゲットＴの認識位置が破線で示されている。ターゲットＴはその認識位置に現実に存在しているわけではないが、映像表示制御部５１はその位置にターゲットＴがあるようにユーザーに認識される立体映像を生成し、映像表示装置４０に表示させている。そして、操作受付部５３は、ユーザーの手の実空間内における位置を、変換せずにそのままターゲットＴの認識位置と対応させ、ターゲットＴの認識位置にユーザーが手を移動させた場合にユーザーがターゲットＴに触れたと判定する。これによりユーザーは、現実には存在しないターゲットＴに直接触れるかのようにして、ターゲットＴに対する操作を行うことができる。
【００３２】
より具体的に、例えば操作受付部５３は、選択候補となる複数のターゲットＴが表示された状態において、ユーザーが自分の手を接触させたターゲットＴを、ユーザーが選択したと判定してもよい。また、映像表示制御部５１は、操作受付部５３が特定したユーザーの手の動きに合わせて、ターゲットＴを移動させたり、その向きや形状を変化させるなど、各種の表示を行ってもよい。また、操作受付部５３は、単にユーザーの手の位置の情報を操作入力として受け付けるだけでなく、ターゲットＴの認識位置にユーザーが手を移動させた際の手の形状を特定し、ユーザーの操作入力として受け付けてもよい。これにより、例えばユーザーは自分の手を動かしてターゲットＴをつかみ、その後そのまま手を移動させるジェスチャーを行うことで、ターゲットＴを任意の位置に移動させるなどの操作を実現できる。
【００３３】
図６は、直接操作モードでユーザーがターゲットＴに対する操作を行っている際に映像表示制御部５１が表示する画像の一例を示している。この図の例では、ターゲットＴとともに、ユーザーの手を表すオブジェクトＨが、位置特定部５２が特定した実空間内の位置に対応する位置に表示されている。ユーザーは、この表示中のオブジェクトＨを確認しながらジェスチャー操作を行うことで、自分の手を正確にターゲットＴの認識位置に一致させることができる。
【００３４】
間接操作モードは、直接操作モードと同様のジェスチャー操作を、ターゲットＴの認識位置から離れた別の位置で実行することのできる操作モードである。この操作モードでは、ユーザーの手が実空間内における現実の位置から所定方向に所定距離だけ平行移動した位置（以下、シフト位置という）に存在するとみなして、ユーザーのジェスチャー操作を受け付ける。この間接操作モードによれば、例えばユーザーは、自分の手を膝の上など疲れにくい位置に置いて直接操作モードと同様のジェスチャー操作を行うことで、ターゲットＴに対する操作入力を実現できる。
【００３５】
図７はこの間接操作モードによりユーザーが操作を行っている様子を示す図である。操作受付部５３は、例えばこの間接操作モードでの操作受け付けを開始したタイミングにおけるユーザーの手の位置を基準位置として、この基準位置がターゲットＴの認識位置に近くなるように、ユーザーの手の位置に対するシフト方向、及びシフト量を決定する。そして、ユーザーの手の現実の位置からシフト方向にシフト量だけ平行移動したシフト位置にユーザーの手が存在するとみなして、それ以降のジェスチャー操作を受け付ける。これによりユーザーは、わざわざターゲットＴの認識位置まで自分の手を移動させることなく、自分が操作しやすい態勢でジェスチャー操作を行うことができる。
【００３６】
図８は、間接操作モードでユーザーがターゲットＴに対する操作を行っている際に映像表示制御部５１が表示する画像の一例を示している。この図の例では、ターゲットＴとともに、ユーザーの手の現実の位置を表すオブジェクトＨ１、及びシフトしたユーザーの手の位置（シフト位置）を表すオブジェクトＨ２の双方が表示されている。オブジェクトＨ１は、図６におけるオブジェクトＨと同様に、位置特定部５２によって特定された現実のユーザーの手の位置に対応する位置に表示される。オブジェクトＨ２は、オブジェクトＨ１を平行移動した位置に表示されている。なお、映像表示制御部５１は、オブジェクトＨ１とオブジェクトＨ２の色を変えるなど、互いに異なる態様で表示させてもよい。ユーザーは、オブジェクトＨ１及びオブジェクトＨ２の双方を確認することで、自分の手の位置がシフトされていることを直感的に理解しながらジェスチャー操作を行うことができる。なお、映像表示制御部５１はオブジェクトＨ１を表示させずにオブジェクトＨ２だけを表示させてもよい。
【００３７】
モード切替制御部５４は、上述した複数の操作モードのうち、どの操作モードで操作受付部５３が操作を受け付けるべきかを決定し、操作モードの切り替えを行う。特に本実施形態では、モード切替制御部５４は、所定の切り替え条件が満足されることをトリガーにして、直接操作モードから間接操作モードへの切り替えを行う。以下、モード切替制御部５４が操作モードの切り替えを行う際のトリガーとして利用する切り替え条件の具体例について、説明する。
【００３８】
まず、ユーザーの姿勢の変化を切り替え条件として使用する例について説明する。直接操作モードでの動作中にユーザーが疲労してくると、ユーザーは自然に自分の体勢を変化させると想定される。そこでモード切替制御部５４は、疲労が原因と考えられるユーザーの姿勢の変化を検出した場合に、直接操作モードから間接操作モードへの切り替えを行う。具体的には、ユーザーが椅子の背もたれに体重を預けるなどして、前傾姿勢から後方に体を傾ける姿勢に変化した場合に、間接操作モードへの切り替えを行う。逆に間接操作モードでの動作中にユーザーが前傾姿勢に変化した場合には、直接操作モードへの切り替えを行ってもよい。このようなユーザーの姿勢の変化は、モーションセンサー４４によって映像表示装置４０の傾きの変化を検知することで特定できる。例えばモード切替制御部５４は、映像表示装置４０の仰角が所定角度以上になった場合に間接操作モードへの切り替えを行うこととする。
【００３９】
また、モード切替制御部５４は、ユーザーが立っているか座っているかに応じて、操作モードを切り替えてもよい。ユーザーが立っているか座っているかは、ステレオカメラ４３の撮影によって得られるデプスマップを解析することによって特定することができる。具体的には、デプスマップ内に存在する最も低い平面が床面と推定されるので、映像表示装置４０からその床面までの距離を特定することで、特定した距離が所定値以上であればユーザーが立っており、所定値未満であれば座っていると推定することができる。モード切替制御部５４は、床面までの距離が所定値以上から所定値未満に変化した場合、それまで立っていたユーザーが座ったと判定し、間接操作モードへの切り替えを行う。
【００４０】
次に、ユーザーの手の動きを切り替え条件として使用する例について説明する。直接操作モードでの動作中に、ユーザーがジェスチャー操作を中断して手を下ろした場合、ユーザーが疲労している可能性がある。そこでモード切替制御部５４は、ユーザーが手を下ろす動作（すなわち、ターゲットＴから所定距離以上離れた下方向の位置に手を移動させる動作）を行った場合に、操作モードを間接操作モードに切り替えてもよい。また、一度ユーザーが手を下ろした場合に直ちに操作モードを切り替えるのではなく、手を下ろした状態を所定時間以上維持した場合や、手を下ろす動作を所定回数以上繰り返した場合に、間接操作モードへの切り替えを行ってもよい。
【００４１】
また、モード切替制御部５４は、デプスマップを解析することによって、ユーザーの手がそのさらに下方にある物体に所定距離以内まで近づいたと判定される場合に、間接操作モードへの切り替えを行ってもよい。ユーザーの手の下方にある物体は、ユーザーの膝や机などであると想定される。それらの物体にユーザーが手を近づけた場合、ユーザーは膝や机の上に手を乗せようとしていると考えられる。そこで、このような場合には間接操作モードに切り替えを行うことで、ユーザーは手を楽にした状態でジェスチャー操作を行えるようになる。
【００４２】
また、モード切替制御部５４は、ユーザーが手に持っている操作デバイス２０を机の上などに置く動作を行った場合に、操作モードの切り替えを行ってもよい。ユーザーは、操作デバイス２０を操作して情報処理装置１０に対する指示を行う場合もあるが、操作デバイス２０を手放した場合には、それ以降ジェスチャー操作による操作入力を行おうとしていると判断できる。そのため、このような動作を行った場合、直接操作モード又は間接操作モードを開始することとする。なお、ユーザーが操作デバイス２０を置く動作は、デプスマップを用いて特定が可能である。また、操作デバイス２０内にモーションセンサーが内蔵されている場合、その測定結果を用いてこのようなユーザーの動作を特定してもよい。
【００４３】
また、モード切替制御部５４は、ユーザーが明示的に操作モードの切り替えを指示するジェスチャーを行った場合に、直接操作モードと間接操作モードとを切り替えてもよい。例えばモード切替制御部５４は、ユーザーが自分の膝など特定の箇所をタップする動作を行った場合に、操作モードの切り替えを行ってもよい。あるいは、ユーザーが自分の手で自分の頭や顔、映像表示装置４０などを軽くタップする動作を行った場合に、操作モードを切り替えてもよい。このようなユーザーの頭部へのタップは、モーションセンサー４４の検出結果を用いて特定することができる。
【００４４】
また、モード切替制御部５４は、ユーザーが自分の手を反転させた場合に、操作モードを間接操作モードに切り替えてもよい。例えばモード切替制御部５４は、ユーザーが自分の手を反転させて手の甲を映像表示装置４０に向けた状態から手のひらを映像表示装置４０に向けた状態に変化させた場合に、操作モードを切り替える。
【００４５】
あるいはモード切替制御部５４は、手を反転させた際には一度操作を受け付けないモードに遷移し、そこから再び手を反転させたタイミングで別の操作モードに切り替えてもよい。具体例として、ユーザーが手の甲を映像表示装置４０に向けた状態で直接操作モードによる操作入力を行っていたとする。この状態からユーザーが手を反転させて手のひらを映像表示装置４０に向けた場合、モード切替制御部５４は一時的にユーザーのジェスチャー操作を受け付けないモードに遷移する。この状態でユーザーは、ジェスチャー操作をやりやすい位置（自分の膝の上など）に自分の手を移動させる。その後、ユーザーが再び手を反転させて手の甲を映像表示装置４０に向けた状態にする。このような手の動きを検知した場合に、モード切替制御部５４は、操作モードを直接操作モードから間接操作モードに切り替える。これによりユーザーは、手を反転させた位置でターゲットＴに対する操作入力を再開することができる。
【００４６】
また、モード切替制御部５４は、以上説明したような手の動きや体全体の動き（姿勢の変化）以外にも、ユーザーの各種の動作を検出して、モード切り替えの条件として使用することができる。例えば映像表示装置４０がユーザーの視線を検出するためのカメラを備える場合、モード切替制御部５４はそのカメラで撮影された映像を用いて操作モードの切り替えを行ってもよい。映像表示装置４０は、ユーザーの視線の向きを検出するために、映像表示装置４０の装着時にユーザーの両目を撮影可能な位置（すなわち、装置の内側に向けられた位置）にカメラを備える場合がある。モード切替制御部５４は、この視線検出用のカメラの撮影画像を解析して、ユーザーの目の動きを特定する。そして、ユーザーの目が特定の動きをした場合に、操作モードを切り替えてもよい。具体的に、例えばモード切替制御部５４は、ユーザーが複数回連続で瞬きを繰り返した場合や、片目を所定時間以上にわたって閉じたとき、両目を所定時間以上にわたって閉じたときなどに、操作モードを切り替えることとする。こうすれば、ユーザーは手を動かすなどの比較的大きな動作をすることなく、操作モードの切り替えを情報処理装置１０に指示することができる。
【００４７】
また、モード切替制御部５４は、ユーザーの声などの音声情報をモード切り替えの条件として使用してもよい。この場合、ユーザーの声を集音可能な位置にマイクロホンが配置されており、情報処理装置１０はこのマイクロホンが集音した音声信号を取得するものとする。なお、マイクロホンは映像表示装置４０に内蔵されていてもよい。この例では、モード切替制御部５４は、取得した音声信号に対して音声認識処理を実行するなどして、ユーザーの発話内容を特定する。そして、ユーザーが「通常モード」や「膝上モード」などの操作モード切り替えを指示する音声や、「疲れた」などの特定の内容を発話したと判定された場合に、発話内容に応じて定められる操作モードへの切り替えを行う。
【００４８】
また、モード切替制御部５４は、音声信号から特定の種類の音を検出した場合に、特定の操作モードへの切替を行ってもよい。例えばモード切替制御部５４は、ユーザーの吐息やあくび、咳、咳払い、くしゃみ、舌打ち、拍手、フィンガースナップなどの音声を検出した場合に操作モードを切り替えてもよい。
【００４９】
また、モード切替制御部５４は、所定の時間が経過した場合に操作モードを切り替えてもよい。具体例として、モード切替制御部５４は、直接操作モードを開始してから所定時間が経過した場合に、間接操作モードへの切り替えを行ってもよい。
【００５０】
さらに、モード切替制御部５４は、以上説明したいずれかの切り替え条件が満たされた場合に、直ちに操作モードの切り替えを行うのではなく、ユーザーの意志確認を行ったうえで操作モードを切り替えてもよい。例えばモード切替制御部５４は、前述した所定時間の経過を切り替え条件とする場合に、所定時間が経過した時点でメニュー表示や音声再生によって操作モードの切り替えを行うか否かをユーザーに問い合わせる。この問い合わせにユーザーが発話や手の動きなどで応答することによって、モード切替制御部５４は操作モードの切り替えを行う。これにより、ユーザーの意図に反して操作モードが切り替えられないようにすることができる。
【００５１】
以上説明した本実施形態に係る情報処理装置１０によれば、立体映像として表示されているターゲットＴの認識位置から離れた場所でジェスチャー操作を行うことができるため、ユーザーは自分のやりやすい体勢でジェスチャー操作を行うことができる。さらに、ターゲットＴの認識位置で直接手を動かす直接操作モードと離れた場所で手を動かす間接操作モードを各種の条件で切り替えることにより、ユーザーにとって望ましい態様でジェスチャー操作を行うことができる。
【００５２】
なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では映像表示装置４０の前面に配置したステレオカメラ４３によってユーザーの手の動きを特定することとしたが、これに限らず、情報処理装置１０はその他の位置に設置されたカメラやセンサーによりユーザーの手の動きを特定してもよい。例えば、ユーザーが膝の上などでジェスチャー操作を行う場合にユーザーの手の動きを精度よく検出するために、映像表示装置４０の下方を撮影可能な位置にステレオカメラ４３とは別のステレオカメラがさらに固定されてもよい。また、映像表示装置４０ではなく、別の場所に設置されたカメラやセンサーによってユーザーの手の動きを検出してもよい。
【符号の説明】
【００５３】
１  映像表示システム、１０  情報処理装置、１１  制御部、１２  記憶部、１３  インタフェース部、３０  中継装置、４０  映像表示装置、４１  映像表示素子、４２  光学素子、４３  ステレオカメラ、４４  モーションセンサー、４５  通信インタフェース、５１  映像表示制御部、５２  位置特定部、５３  操作受付部、５４  モード切替制御部。
【図１】
2019023767.tif 000003
【図２】
2019023767.tif 000004
【図３】
2019023767.tif 000005
【図４】
2019023767.tif 000006
【図５】
2019023767.tif 000007
【図６】
2019023767.tif 000008
【図７】
2019023767.tif 000009
【図８】
2019023767.tif 000010