(57)【要約】【課題】ウェアラブルディスプレイを装着した状態で操作入力を行うことは難しい。【解決手段】位置・姿勢取得部７３０は、ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する。操作入力部７９０は、ユーザのジェスチャによる操作入力を受け付ける。インジケータ表示部７８０は、ジェスチャをするときのユーザの姿勢の変化量を示すインジケータをウェアラブルディスプレイ装置に表示させる。操作入力部７９０は、姿勢の変化量が所定の閾値を超えた場合にジェスチャによる操作入力を受け付ける。【選択図】図４
2017021461.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得部と、
ユーザのジェスチャによる操作入力を受け付ける操作入力部と、
前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示部とを含み、
前記操作入力部は、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付けることを特徴とする操作入力装置。
【請求項２】
前記インジケータ表示部は、前記所定の閾値を前記インジケータに表示することを特徴とする請求項１に記載の操作入力装置。
【請求項３】
前記ジェスチャをするときのユーザの体勢に応じて前記所定の閾値は異なる値に設定されることを特徴とする請求項１または２に記載の操作入力装置。
【請求項４】
前記ジェスチャをするときのユーザの姿勢の可動域の広さに応じて前記所定の閾値は異なる値に設定されることを特徴とする請求項１または２に記載の操作入力装置。
【請求項５】
前記ジェスチャをするときのユーザの姿勢の初期位置に応じて前記所定の閾値は異なる値に設定されることを特徴とする請求項１または２に記載の操作入力装置。
【請求項６】
前記ジェスチャをするときのユーザの姿勢の初期位置に応じて前記姿勢の変化量を前記インジケータに表示する際の感度が調整されることを特徴とする請求項１または２に記載の操作入力装置。
【請求項７】
前記インジケータ表示部は、ユーザに頷く動作をさせるために縦方向のインジケータを表示することを特徴とする請求項１から６のいずれかに記載の操作入力装置。
【請求項８】
前記インジケータ表示部は、ユーザに首を横に振る動作をさせるために横方向のインジケータを表示することを特徴とする請求項１から６のいずれかに記載の操作入力装置。
【請求項９】
前記インジケータ表示部は、ユーザに首を傾げる動作をさせるために円弧のインジケータを表示することを特徴とする請求項１から６のいずれかに記載の操作入力装置。
【請求項１０】
ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得ステップと、
ユーザのジェスチャによる操作入力を受け付ける操作入力ステップと、
前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示ステップとを含み、
前記操作入力ステップは、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付けることを特徴とする操作入力方法。
【請求項１１】
ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得機能と、
ユーザのジェスチャによる操作入力を受け付ける操作入力機能と、
前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示機能とをコンピュータに実現させ、
前記操作入力機能は、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付けることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ウェアラブルディスプレイにおいて操作を入力する装置および方法に関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ユーザがヘッドマウントディスプレイなどのウェアラブルディスプレイを装着した状態ではコントローラやキーボードなどの入力デバイスを用いてシステムに対して操作入力を行うことは難しい。ジェスチャによって操作入力する方法もあるが、ジェスチャによる動きをどれくらい行えばよいかがわからず、ストレスを感じることがある。
【０００４】
本発明はこうした課題に鑑みてなされたものであり、その目的は、ウェアラブルディスプレイにおいて容易に操作を入力することのできる操作入力装置および操作入力方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様の操作入力装置は、ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得部と、ユーザのジェスチャによる操作入力を受け付ける操作入力部と、前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示部とを含む。前記操作入力部は、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付ける。
【０００６】
本発明の別の態様は、操作入力方法である。この方法は、ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得ステップと、ユーザのジェスチャによる操作入力を受け付ける操作入力ステップと、前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示ステップとを含む。前記操作入力ステップは、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付ける。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、ウェアラブルディスプレイにおいて容易に操作を入力することができる。
【図面の簡単な説明】
【０００９】
【図１】ヘッドマウントディスプレイの外観図である。
【図２】ヘッドマウントディスプレイの機能構成図である。
【図３】本実施の形態に係るパノラマ画像生成システムの構成図である。
【図４】本実施の形態に係るパノラマ画像生成装置の機能構成図である。
【図５】図５（ａ）〜図５（ｃ）は、ヘッドマウントディスプレイに表示されるパノラマ画像およびコンテンツリストを説明する図である。
【図６】図６（ａ）〜図６（ｃ）は、ヘッドマウントディスプレイに表示されるインジケータの目盛りの変化を説明する図である。
【図７】図７（ａ）〜図７（ｃ）は、首を横に振るジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。
【図８】図８（ａ）〜図８（ｃ）は、首を縦に振る（頷く）ジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。
【図９】図９（ａ）〜図９（ｃ）は、首を傾げるジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。
【図１０】図１０（ａ）および図１０（ｂ）は、頷くジェスチャの場合における姿勢の初期位置と操作閾値の関係を説明する図である。
【図１１】図１１（ａ）〜図１１（ｅ）は、首を縦に振るジェスチャとインジケータの形状の対応関係を説明する図である。
【図１２】図１２（ａ）〜図１２（ｅ）は、首を横に振るジェスチャとインジケータの形状の対応関係を説明する図である。
【図１３】図１３（ａ）〜図１３（ｅ）は、首を傾げるジェスチャとインジケータの形状の対応関係を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。
【００１１】
ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
【００１２】
ヘッドマウントディスプレイ１００に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。
【００１３】
ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ装置」の一例である。ウェアラブルディスプレイ装置には、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなど任意の装着可能なディスプレイ装置が含まれる。
【００１４】
図２は、ヘッドマウントディスプレイ１００の機能構成図である。
【００１５】
制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。
【００１６】
通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
【００１７】
記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
【００１８】
姿勢センサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
【００１９】
外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
【００２０】
時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。
【００２１】
制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。
【００２２】
図３は、本実施の形態に係るパノラマ画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００でゲーム機２００に接続される。ゲーム機２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをゲーム機２００に提供してもよい。ヘッドマウントディスプレイ１００は、ゲーム機２００の代わりに、コンピュータや携帯端末に接続されてもよい。
【００２３】
ヘッドマウントディスプレイ１００に表示されるパノラマ画像は、あらかじめ撮影された３６０度のパノラマ静止画またはパノラマ動画の他、ゲーム空間のような人工的なパノラマ画像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。
【００２４】
図４は、本実施の形態に係るパノラマ画像生成装置７００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
【００２５】
パノラマ画像生成装置７００は、ヘッドマウントディスプレイ１００が接続されたゲーム機２００に実装されるが、パノラマ画像生成装置７００の少なくとも一部の機能をヘッドマウントディスプレイ１００の制御部１０に実装してもよい。あるいは、パノラマ画像生成装置７００の少なくとも一部の機能を、ネットワークを介してゲーム機２００に接続されたサーバに実装してもよい。
【００２６】
ズーム指示取得部７１０は、ヘッドマウントディスプレイ１００の入力インタフェース２０を介してユーザが指示するズームの倍率を取得する。ズーム指示取得部７１０が取得したズーム倍率は感度調整部７２０とパノラマ画像処理部７５０に供給される。
【００２７】
位置・姿勢取得部７３０は、ヘッドマウントディスプレイ１００のモーションセンサにより検知される位置情報と姿勢センサ６４により検知される姿勢情報にもとづいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置と姿勢を取得する。ユーザの頭部の位置は、ゲーム機２００のカメラによりヘッドマウントディスプレイ１００の動きを検出することにより取得されてもよい。
【００２８】
位置・姿勢取得部７３０は、感度調整部７２０から指示された感度にもとづいて、ユーザの頭部の位置と姿勢を取得する。たとえば、ユーザが首を回すと、姿勢センサ６４によりユーザの頭部の角度の変化が検出されるが、感度調整部７２０は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように位置・姿勢取得部７３０に指示する。
【００２９】
また、感度調整部７２０は、ズーム指示取得部７１０から取得されたズーム倍率にもとづいて頭部の角度検出の感度を調整する。ズーム倍率が大きくなるほど、頭部の角度検出の感度を下げる。ズームすると、画角が小さくなるため、頭部の角度検出感度を下げることで頭部の揺れによる表示画像の振動を抑えることができる。
【００３０】
モーションセンサとして、３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上の組み合わせを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。また、ユーザの頭部の位置情報を組み合わせて頭部の動き検出の精度を向上させてもよい。
【００３１】
座標変換部７４０は、位置・姿勢取得部７３０により取得されたヘッドマウントディスプレイ１００の姿勢にもとづいて、ヘッドマウントディスプレイ１００に表示すべき画像を生成するための座標変換を行う。
【００３２】
パノラマ画像処理部７５０は、パノラマ画像記憶部７６０からパノラマ画像データを読み出し、座標変換部７４０による座標変換にしたがって、ヘッドマウントディスプレイ１００の位置および姿勢に応じたパノラマ画像を、ズーム指示取得部７１０から指定されたズーム倍率で生成し、画像提供部７７０に与える。ここで、パノラマ画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。また、遠隔地で撮影されたパノラマ画像をネットワークを経由して受信し、パノラマ画像記憶部７６０に記憶してもよい。
【００３３】
パノラマ画像記憶部７６０には、複数種類のパノラマ画像が記憶されている。パノラマ画像は、定点を中心とする周囲の空間の画像の一例であり、全天球のパノラマ画像の場合、周囲の空間（パノラマ空間）は、球で表される。
【００３４】
本実施の形態では、ワールド座標系でパノラマ球の中心の座標と半径を決める。複数のパノラマ球を、パノラマ球間で方角を合わせてワールド座標系に配置する。ヘッドマウントディスプレイ１００を装着したユーザはパノラマ球の画像をディスプレイで見ながら物理的に移動することで、ワールド座標系内のパノラマ空間を仮想的にウォークスルーすることができる。ユーザはワールド座標系において、一つのパノラマ球にとどまることも、あるパノラマ球から別のパノラマ球に移動することもできる。
【００３５】
操作入力部７９０は、ユーザの所定のジェスチャによる操作入力を受け付ける。操作には、たとえば、コンテンツリストに含まれるコンテンツの選択と実行、パノラマ画像のズームイン・ズームアウトなどがある。操作入力部７９０は、ジェスチャをするときのユーザの姿勢の変化量が所定の閾値を超えた場合にジェスチャによる操作入力を受け付ける。この閾値を「操作閾値」と呼ぶ。ユーザのジェスチャによる操作入力は、姿勢の変化量が操作閾値を超えない限り、受け付けられず、姿勢の変化量が操作閾値を超えて初めてその操作が実行される。
【００３６】
操作入力部７９０によって受け付けられた操作入力は、図示しない制御部に送られ、操作入力に応じた動作が実行される。
【００３７】
ユーザがジェスチャをするときの姿勢の初期位置に応じて操作閾値を調整してもよい。たとえば、頷くジェスチャをする場合、首の傾きに応じて操作閾値を異ならせる。首が最初から斜め下を向いていた場合は、顔が正面を向いていた場合に比べて首をそれ以上大きく傾けることが難しいため、操作閾値を低く設定する。
【００３８】
また、ユーザ毎に操作閾値を調整してもよい。姿勢を大きく変えたい（あるいは姿勢を変えることが容易である）ユーザと、姿勢をあまり大きく変えたくない（あるいは姿勢を変えることが難しい）ユーザがいるとき、ユーザは操作閾値を自分でカスタマイズすることができる。また、ユーザが起きている、座っている、寝ているかによって姿勢の変えやすさや可動域が異なるため、ユーザの体勢によって、操作閾値を調整してもよい。
【００３９】
インジケータ表示部７８０は、位置・姿勢取得部７３０により取得されたユーザの姿勢情報および感度調整部７２０により取得された姿勢検出の感度情報をもとにジェスチャをするときの姿勢の変化量を示すインジケータの画像を生成し、画像提供部７７０に与える。姿勢の変化量は、たとえば、インジケータの目盛りで示される。
【００４０】
インジケータ表示部７８０は、操作閾値をインジケータに表示してもよい。操作閾値はたとえば、インジケータの目盛りの内の閾値に相当する値を何らかの目印で表示することができる。あるいは、インジケータの最大目盛りがそのまま操作閾値であってもよい。操作が入力されるまでに操作閾値という「遊び」があり、ジェスチャによりインジケータが表示されても、操作閾値を超えるまでインジケータの目盛りが進まなければ操作が入力されないので、ユーザは操作閾値を超えるまで姿勢を変えてその操作を入力するか、あるいは、それ以上は姿勢を変えないでその操作をキャンセルするかを、インジケータを見ながら決めることができる。
【００４１】
インジケータ表示部７８０は、ユーザがジェスチャをするときの姿勢の初期位置に応じて姿勢の変化量をインジケータに表示する際の感度を調整してもよい。たとえば、頷くジェスチャを取る場合、首の傾きに応じて変化量をインジケータに表示する際の感度を変化させる。首が最初から下を向いていた場合は、顔が正面を向いていた場合に比べて首をそれ以上大きく傾けることが難しいため、姿勢の変化量をインジケータに表示する際の感度を大きく設定する。これにより、首を小さく傾けてもインジケータに変化量が大きく表れる、すなわちインジケータの目盛りの進み方を速くするようにすることができる。
【００４２】
画像提供部７７０は、パノラマ画像処理部７５０により生成されたパノラマ画像データおよびインジケータ表示部７８０により生成されたインジケータ画像データをヘッドマウントディスプレイ１００に供給する。
【００４３】
ヘッドマウントディスプレイ１００を装着したユーザはユーザの位置と姿勢に応じたパノラマ画像を閲覧するとともに、ユーザが特定のジェスチャをした場合に表示されるインジケータを画面上で見ることができる。特定のジェスチャに対応する操作を実行したい場合は、インジケータに表示されるユーザの姿勢の変化量が操作閾値を超えるまで姿勢を変化させることにより、その操作を入力することができる。
【００４４】
「操作入力装置」は、少なくとも、位置・姿勢取得部７３０、インジケータ表示部７８０、および操作入力部７９０を含む。この構成の一部または全部をヘッドマウントディスプレイ１００側に設けてもよい。以下、本実施の形態の操作入力装置の動作を説明する。
【００４５】
図５（ａ）〜図５（ｃ）は、ヘッドマウントディスプレイ１００に表示されるパノラマ画像およびコンテンツリストを説明する図である。
【００４６】
図５（ａ）に示すように、パノラマ画像の中央にはパノラマ球のサムネイル画像５００ａ〜５００ｄが横方向に並べられたコンテンツリストが表示される。パノラマ球のサムネイル画像は仮想空間においてユーザの位置を中心として周囲３６０度に配置されており、ユーザは首を横方向に回転させることにより、コンテンツリスト内のパノラマ球のサムネイル画像を閲覧することができる。
【００４７】
図５（ｂ）に示すように、ユーザがパノラマ球のサムネイル画像５００ｂが正面に来るように首を回転させると、その正面のサムネイル画像５００ｂが強調して表示され、サムネイル画像５００ｂの下に、インジケータ５１０が表示される。ここで、強調表示は、たとえばサムネイル画像の拡大表示や、サムネイル画像の周囲に枠を表示することによってなされる。あるいは、正面にサムネイル画像５００ｂをもってきた状態で首の回転を止めて所定の時間が経過する（「アイドリング」という）と、サムネイル画像が強調表示され、インジケータ５１０が表示されるように構成してもよい。
【００４８】
インジケータ５１０が表示された状態で、ユーザがたとえば首を横に振るジェスチャを行うと、図５（ｃ）に示すように、インジケータ５１０には姿勢の変化量に応じてインジケータ５１０の目盛りが進んでいく。ここではインジケータ５１０は操作ボタンの形状をしており、首を横に振る角度に応じて操作ボタンの背景色が上から塗りつぶされていく。首を横に振ることでユーザが見ているパノラマ画像全体も横に移動していることに留意する。
【００４９】
所定の操作閾値を超えるまで首を横に振ると、インジケータ５１０の内部が全部塗りつぶされ、指定された操作の入力が受け付けられ、実行に移される。ここでは、選択したサムネイル画像５００ｂに対応するパノラマ球にパノラマ画像を切り替える動作が実行される。別のパノラマ球のパノラマ画像に切り替える際、突然切り替えるのではなく、フェードアウト・フェードインなどのエフェクトをかけてもよい。
【００５０】
図６（ａ）〜図６（ｃ）は、ヘッドマウントディスプレイ１００に表示されるインジケータ５２０の目盛りの変化を説明する図である。
【００５１】
インジケータ５２０は円弧の形状をしており、ユーザが首を傾げた場合に表示される。首を傾げるジェスチャはパノラマ画像のズームイン・ズームアウトに対応する。たとえば、首を右に傾げるジェスチャはズームイン、首を左に傾げるジェスチャはズームアウトに対応する。
【００５２】
図６（ａ）に示すように、ユーザが最初に首を少し左に傾げるジェスチャをすると、ズームアウト用のインジケータ５２０が表示される。ユーザが首をさらに左に傾げると図６（ｂ）に示すように、インジケータ５２０の目盛りが進んでいく。ここではインジケータ５２０の内部の背景色が塗りつぶされていく。首をさらに深く左に傾げることで操作閾値を超えると、図６（ｃ）に示すようにインジケータ５２０の目盛りが最後まで進み、ズームアウトの操作入力が受け付けられ、パノラマ画像がズームアウトされる。ここでも、首を傾げる動作によって、ユーザが見ているパノラマ画像も姿勢の変化に応じて回転していることに留意する。
【００５３】
図７（ａ）〜図７（ｃ）は、首を横に振るジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。図７（ａ）に示すように、顔を正面に向けた姿勢が初期位置であり、この姿勢を一定時間取り続ける（アイドリング）ことにより、インジケータ５３０がパノラマ画像に表示される。ここではインジケータ５３０は操作ボタンの形状をしており、背景色は透明である。
【００５４】
図７（ｂ）に示すように、首を横に振り、顔の方向が「０％」と示された角度を超えると、インジケータ５３０の背景色が左から塗りつぶされていく。塗りつぶされる方向は首を振る方向と同じ横方向である。
【００５５】
図７（ｃ）に示すように、さらに首を横に振り続け、顔の方向が「１００％」と示された角度を超えると、インジケータ５３０の背景色が全部塗りつぶされ、操作入力が受け付けられ、実行に移される。
【００５６】
図８（ａ）〜図８（ｃ）は、首を縦に振る（頷く）ジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。図８（ａ）に示すように、顔を正面に向けた初期位置の姿勢を一定時間取り続けると、操作ボタン形状のインジケータ５４０がパノラマ画像に表示される。この段階ではインジケータ５３０の背景色は透明である。
【００５７】
図８（ｂ）に示すように、首を縦に振り、顔の傾きが「０％」の角度を超えると、インジケータ５４０の背景色が上から塗りつぶされていく。塗りつぶされる方向は首を振る方向と同じ縦方向である。
【００５８】
図８（ｃ）に示すように、さらに首を縦に振り続け、顔の傾きが「１００％」の角度を超えると、インジケータ５４０の背景色が全部塗りつぶされ、操作入力が受け付けられ、実行に移される。
【００５９】
図９（ａ）〜図９（ｃ）は、首を傾げるジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。図９（ａ）に示すように、首を真っ直ぐにした初期位置の姿勢から少し首を傾げると、円弧形状のインジケータ５５０がパノラマ画像に表示される。首を左に傾げると左円弧、首を右に傾げると右円弧の形状のインジケータが表示される。この段階ではインジケータ５５０の背景色は透明である。
【００６０】
図９（ｂ）に示すように、首をさらに傾げ、顔の回転が「０％」の角度を超えると、インジケータ５５０の背景色が塗りつぶされていく。
【００６１】
図９（ｃ）に示すように、さらに首を傾げ続け、顔の回転が「１００％」の角度を超えると、インジケータ５５０の背景色が全部塗りつぶされ、操作入力が受け付けられ、実行に移される。
【００６２】
上記以外にも顔を前に突き出す、首を複数回横に速く振る、顔を上に上げるなどいろいろなジェスチャがあり、それぞれに特定の操作を対応づけ、そのジェスチャに対応した適切なインジケータを表示することができる。
【００６３】
たとえば、コンテンツリスト内の特定のコンテンツのサムネイル画像を選択して実行すると、その特定のコンテンツのパノラマ球に移行して、パノラマ画像が表示されるが、その段階で首を横に速く振ると、元のコンテンツのパノラマ球に戻り、元のパノラマ画像が表示される。このとき、首を横に振る回数や速度は、ユーザの体勢によって、異ならせてもよい。たとえば、寝ているときは首を動かすことが容易でないため、起きているときに比べて、振る回数を減らしたり、振る速度を遅くしても操作が入力できるようにする。また、寝ているときは、起きているときに比べて操作閾値を低く設定してもよい。
【００６４】
また、コンテンツリスト内のコンテンツのサムネイル画像がユーザの頭の上方にある場合は、そのコンテンツを選択するには顔を上に向ける必要があるが、その状態で首を横に振るのは容易ではない。そのように首を横に振るのが容易でない姿勢においては、首を振らなくても、首を動かさないアイドリング状態で時間が経過すると、インジケータの目盛りが進み、一定の時間の経過後、選択操作が自動的に入力され、そのコンテンツが選択されてもよい。たとえば、地理的な位置情報に対応づけられたコンテンツの場合、仮想空間においてその位置情報が示す方向にコンテンツのサムネイル画像が配置されることがある。そのような場合、コンテンツのサムネイル画像は必ずしもユーザが顔を向けやすい姿勢位置に配置されているとは限られない。上記のようにコンテンツのサムネイル画像の方向に顔を向けて一定の時間経過によって操作が入力されるように構成すれば、無理な姿勢変化をユーザに強いることがない。
【００６５】
図１０（ａ）および図１０（ｂ）は、頷くジェスチャの場合における姿勢の初期位置と操作閾値の関係を説明する図である。
【００６６】
図１０（ａ）のようにヘッドマウントディスプレイ１００を装着したユーザの顔が正面を向いている場合、頷くジェスチャの可動域は広いため、操作閾値を高い値に設定することができる。他方、図１０（ｂ）のように顔が最初から斜め下を向いている場合は、頷くジェスチャの可動域は狭いため、操作閾値を低い値に設定することができる。これ以外にも首を横に振るジェスチャの場合、顔が既に斜め横方向に向いているときは首を横に振るための可動域は狭くなるため、操作閾値を低い値に設定する。
【００６７】
このように操作入力をするときのユーザの姿勢の初期位置に応じて操作閾値は調整される。インジケータにおいて操作閾値はインジケータ自体の長さで表してもよく、操作閾値が低い場合はインジケータ自体の長さを短くする。あるいは、インジケータの目盛りの途中の値を操作閾値として、操作閾値となる目盛りに印をつけたり、色をつけることで操作閾値がわかるように強調表示してもよい。
【００６８】
あるいは、別の方法として、姿勢の変化量に対する操作閾値を変えずに、姿勢の変化量をインジケータに示す際の感度をユーザの姿勢の初期位置に応じて調整してもよい。たとえば、図１０（ｂ）のようにジェスチャの可動域が狭い場合、姿勢の変化量に対してインジケータの目盛りが進む度合いを大きくすることで、少ない姿勢の変化量でも操作閾値に達するようにすることができる。この場合、インジケータ自体の長さを変えたり、操作閾値となる目盛り位置を変える必要はなくなる。
【００６９】
また、ユーザが立っているか、座っているか、寝ているかによって、ジェスチャの可動域が異なることがあるため、ユーザの身体の体勢に応じて操作閾値を異ならせてもよい。たとえば、寝ているときは立っているか座っているときに比べて首を横に動かすことが難しくなる。寝ているときは操作閾値を下げたり、姿勢の変化量に対するインジケータの目盛りの進み方を大きくしてもよい。また、寝ているときは首を振らなくても、インジケータが表示された状態で静止していると、時間経過とともにインジケータの目盛りが進み、一定の時間を経過すると自動的に操作が入力されるようにしてもよい。
【００７０】
図１１（ａ）〜図１１（ｅ）は、首を縦に振るジェスチャとインジケータの形状の対応関係を説明する図である。図１１（ａ）に示すように首を縦に振るジェスチャをする場合の複数のタイプのインジケータの形状と姿勢の変化量の表示態様を図１１（ｂ）〜図１１（ｅ）に示す。
【００７１】
図１１（ｂ）は、ライン形状のインジケータである。首を縦に振るジェスチャを促すために縦方向のライン形状のインジケータが表示される。首を縦に振る角度が大きくなるにつれて、目盛りが下方向に進む。首を振る角度の変化量が操作閾値を超えると、目盛りが最大値に達し、操作が入力される。
【００７２】
図１１（ｃ）は、ボタン形状のインジケータである。このタイプのインジケータでは目盛りはボタン内の背景色が塗りつぶされていくことで表示される。首を縦に振る角度が大きくなるにつれて、ボタン内部が徐々に上から下に塗りつぶされていく。首を振る角度の変化量が操作閾値を超えると、ボタンの背景色が全部塗りつぶされ、操作が入力される。
【００７３】
図１１（ｄ）は、変形するインジケータである。このタイプのインジケータでは、姿勢の変化量が大きくなるにつれてインジケータ自身が縦方向に伸びることにより変化量が示される。首を縦に振る角度が大きくなるにつれて、インジケータ自身が縦に伸びていく。首を振る角度の変化量が操作閾値を超えると、インジケータは最大の長さまで伸びきった後、元の大きさに戻り、操作が入力される。
【００７４】
図１１（ｅ）は、複数の小さい単位のインジケータの配列によりインジケータと目盛りを構成する場合を示す。このタイプのインジケータでは、姿勢の変化が大きくなるにつれてインジケータ配列の内、点灯するインジケータが下方向に増えていくことで変化量が示される。首を縦に振る角度が大きくなるにつれて、点灯するインジケータの数が増えていく。首を振る角度の変化量が操作閾値を超えると、インジケータ配列のすべてのインジケータが点灯し、操作が入力される。
【００７５】
図１２（ａ）〜図１２（ｅ）は、首を横に振るジェスチャとインジケータの形状の対応関係を説明する図である。図１２（ａ）に示すように首を横に振るジェスチャをする場合の複数のタイプのインジケータの形状と姿勢の変化量の表示態様を図１２（ｂ）〜図１２（ｅ）に示す。
【００７６】
図１２（ｂ）は、ライン形状のインジケータである。首を横に振るジェスチャを促すために横方向のライン形状のインジケータが表示される。首を横に振る角度が大きくなるにつれて、目盛りが右方向に進む。首を振る角度の変化量が操作閾値を超えると、目盛りが最大値に達し、操作が入力される。
【００７７】
図１２（ｃ）は、ボタン形状のインジケータである。首を横に振る角度が大きくなるにつれて、ボタン内部が徐々に左から右に塗りつぶされていく。首を振る角度の変化量が操作閾値を超えると、ボタンの背景色が全部塗りつぶされ、操作が入力される。
【００７８】
図１２（ｄ）は、変形するインジケータである。首を横に振る角度が大きくなるにつれて、インジケータ自身が横に伸びていく。首を振る角度の変化量が操作閾値を超えると、インジケータは最大の長さまで伸びきった後、元の大きさに戻り、操作が入力される。
【００７９】
図１２（ｅ）は、複数の小さい単位のインジケータの配列によりインジケータと目盛りを構成する場合を示す。首を横に振る角度が大きくなるにつれて、点灯するインジケータの数が横方向に増えていく。首を振る角度の変化量が操作閾値を超えると、インジケータ配列のすべてのインジケータが点灯し、操作が入力される。
【００８０】
図１３（ａ）〜図１３（ｅ）は、首を傾げるジェスチャとインジケータの形状の対応関係を説明する図である。図１３（ａ）に示すように首を傾げるジェスチャをする場合の複数のタイプのインジケータの形状と姿勢の変化量の表示態様を図１３（ｂ）〜図１３（ｅ）に示す。
【００８１】
図１３（ｂ）は、ライン形状のインジケータである。首を傾げるジェスチャを促すために円弧形状のインジケータが表示される。首を左に傾げるジェスチャの場合は左円弧のインジケータ、首を右に傾げるジェスチャの場合は右円弧のインジケータが表示される。首を傾げる角度が大きくなるにつれて、目盛りが円弧に沿って進む。首を傾げる角度の変化量が操作閾値を超えると、目盛りが最大値に達し、操作が入力される。
【００８２】
図１３（ｃ）は、ボタン形状のインジケータである。首を傾げる角度が大きくなるにつれて、円弧形状のボタン内部が徐々に円弧に沿って塗りつぶされていく。首を振る角度の変化量が操作閾値を超えると、ボタンの背景色が全部塗りつぶされ、操作が入力される。
【００８３】
図１３（ｄ）は、変形するインジケータである。首を傾げる角度が大きくなるにつれて、インジケータ自身が円弧形状に伸びていく。首を傾げる角度の変化量が操作閾値を超えると、インジケータは最大限まで伸び、操作が入力される。
【００８４】
図１３（ｅ）は、複数の小さい単位のインジケータの配列によりインジケータと目盛りを構成する場合を示す。首を傾げる角度が大きくなるにつれて、点灯するインジケータの数が円弧形状で増えていく。首を傾げる角度の変化量が操作閾値を超えると、インジケータ配列のすべてのインジケータが点灯し、操作が入力される。
【００８５】
以上述べたように、本実施の形態の操作入力方法によれば、ユーザがヘッドマウントディスプレイ１００などのウェアラブルディスプレイ装置を装着した状態でユーザは頭部を動かすなどのジェスチャによって操作入力を簡単に行うことができる。コントローラやキーボードなどを操作する必要がないため、ヘッドマウントディスプレイ１００に表示された映像に意識を集中した状態を維持でき、没入感の妨げにならない。ジェスチャによる操作入力を行う際、インジケータが自動的に表示され、姿勢を変化させる方向と姿勢を変化させる量が直感的に把握できるため、操作入力にストレスを感じることがない。また操作閾値を超えるまではジェスチャによる操作入力が受け付けられないから、誤ってジェスチャを行った場合でも容易に取り消すことができる。
【００８６】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
【００８７】
上記の説明では、ヘッドマウントディスプレイ１００を装着したユーザの首を振ったり、傾げたりするジェスチャによる姿勢の変化を例に挙げて説明したが、ジェスチャはこれ以外のものであってもよい。ユーザの身体の動きをカメラやモーションセンサなどにより検出することができる場合、たとえば、手を振る、手を挙げる、手を握る、足踏みする、立つ、座るなどのジェスチャによる姿勢の変化を用いて操作入力が行われるようにしてもよい。
【符号の説明】
【００８８】
１０  制御部、  ２０  入力インタフェース、  ３０  出力インタフェース、  ３２  バックライト、  ４０  通信制御部、  ４２  ネットワークアダプタ、  ４４  アンテナ、  ５０  記憶部、  ６４  姿勢センサ、  ７０  外部入出力端子インタフェース、  ７２  外部メモリ、  ８０  時計部、  １００  ヘッドマウントディスプレイ、  １１０  本体部、  １２０  前頭部接触部、  １３０  側頭部接触部、  ２００  ゲーム機、  ７００  パノラマ画像生成装置、  ７１０  ズーム指示取得部、  ７２０  感度調整部、  ７３０  位置・姿勢取得部、  ７４０  座標変換部、  ７５０  パノラマ画像処理部、  ７６０  パノラマ画像記憶部、  ７７０  画像提供部、  ７８０  インジケータ表示部、  ７９０  操作入力部。
【図１】
2017021461.tif 000003
【図２】
2017021461.tif 000004
【図３】
2017021461.tif 000005
【図４】
2017021461.tif 000006
【図５】
2017021461.tif 000007
【図６】
2017021461.tif 000008
【図７】
2017021461.tif 000009
【図８】
2017021461.tif 000010
【図９】
2017021461.tif 000011
【図１０】
2017021461.tif 000012
【図１１】
2017021461.tif 000013
【図１２】
2017021461.tif 000014
【図１３】
2017021461.tif 000015