(57)【要約】  ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）は、前記ＨＭＤを着用したユーザの動きを測定するセンサ部と、イメージを表示する表示部、及び前記センサ部の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記イメージの視点以外の他の要素を制御する制御部と、を含んでいてよい。前記ＨＭＤは、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いてＨＭＤに表示されるイメージを制御することによって別途のコントローラなしでイベント（ｅｖｅｎｔ）処理などを行うことができる。【選択図】図１
2017537368.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウント型ディスプレイ装置であって、
前記ヘッドマウント型ディスプレイ装置を着用したユーザの動きを測定するセンサ部と、
イメージを表示する表示部、及び
前記センサ部の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記イメージの視点以外の他の要素を制御する制御部と、
を含むヘッドマウント型ディスプレイ装置。
【請求項２】
前記制御部は、ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として用いる、請求項１に記載のヘッドマウント型ディスプレイ装置。
【請求項３】
前記制御部は、ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として用いる、請求項１に記載のヘッドマウント型ディスプレイ装置。
【請求項４】
前記制御部は、ユーザの視線を前記入力信号として用いて、前記表示部に表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させる、請求項１に記載のヘッドマウント型ディスプレイ装置。
【請求項５】
前記制御部は、更に、ユーザの視線方向に応じて前記表示部に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記表示部を制御する、請求項１に記載のヘッドマウント型ディスプレイ装置。
【請求項６】
ヘッドマウント型ディスプレイ装置の制御方法であって、
前記ヘッドマウント型ディスプレイ装置にイメージを表示する段階と、
前記ヘッドマウント型ディスプレイ装置を着用したユーザの視線方向を算出する段階、及び
ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点以外の他の要素を制御する段階と、
を含むヘッドマウント型ディスプレイ装置の制御方法。
【請求項７】
前記イメージの視点以外の他の要素を制御する段階は、
ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として決定する段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
【請求項８】
前記イメージの視点以外の他の要素を制御する段階は、
ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として決定する段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
【請求項９】
前記イメージの視点以外の他の要素を制御する段階は、
ユーザの視線を前記入力信号として用いて、前記ヘッドマウント型ディスプレイ装置に表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させる段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
【請求項１０】
前記イメージの視点以外の他の要素を制御する段階は、
ユーザの視線方向に応じて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記ヘッドマウント型ディスプレイ装置を制御する段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
【請求項１１】
ヘッドマウント型ディスプレイ装置に結合されて、
前記ヘッドマウント型ディスプレイ装置にイメージを表示する段階と、
前記ヘッドマウント型ディスプレイ装置を着用したユーザの視線方向を算出する段階、及び
ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点以外の他の要素を制御する段階、を行うように媒体に格納された、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
実施例は、ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）、その制御のための方法、及びコンピュータプログラムに係り、より詳しくは、別途のコントローラなしでユーザの視線によって制御できるように構成されたＨＭＤ及びその制御技術に関する。
【背景技術】
【０００２】
ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）は、頭部に着用する形態の携帯ディスプレイ装置であって、表示装置をゴーグルやヘルメットのような形態で頭部に装着することによって眼前の至近距離に画像の焦点が結ぶように構成された装備である。ＨＭＤを着用したユーザは、視界全体が画像で覆われることになってバーチャルリアリティのような感じを受けることができ、軍事用、医療用、及び個人用などの多様な分野に応用されている。
【０００３】
一例として、特許文献１（日本公開特許公報第１９９９-１６１１９０）では、ユーザの頭部の動きを検出し、検出された結果に基づいて表示素子に表示される情報を制御する技術を開示している。しかし、この種の従来のＨＭＤにおけるユーザの動きは表示素子に表示される視点の切り替えだけに用いられており、表示される情報に対するイベント（ｅｖｅｎｔ）処理などの制御のためには別途のコントローラ、例えば、タッチパッド、ゲームパッドなどを必要とするという短所がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１６１１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一側面によれば、別途のコントローラなしでユーザの視線によってヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）に表示されるイメージが制御できるように構成されたＨＭＤ及びその制御方法、並びにそのためのコンピュータプログラムを提供することができる。
【課題を解決するための手段】
【０００６】
一実施例に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）は、該ＨＭＤを着用したユーザの動きを測定するように構成されたセンサ部と、イメージを表示するように構成された表示部、及び前記センサ部の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記イメージの視点以外の他の要素を制御するように構成された制御部と、を含む。
【０００７】
前記制御部は、ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として用いていてよい。
【０００８】
また、前記制御部は、ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として用いていてもよい。
【０００９】
前記制御部は、ユーザの視線を前記入力信号として用いて、前記表示部に表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させていてよい。
【００１０】
前記制御部は、更に、ユーザの視線方向に応じて前記表示部に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記表示部を制御していてよい。
【００１１】
一実施例に係るＨＭＤの制御方法は、前記ＨＭＤにイメージを表示する段階と、前記ＨＭＤを着用したユーザの視線方向を算出する段階、及びユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記ＨＭＤに表示されるイメージの視点以外の他の要素を制御する段階と、を含む。
【００１２】
前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として決定する段階を含んでいてよい。
【００１３】
また、前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として決定する段階を含んでいてよい。
【００１４】
前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線を前記入力信号として用いて、前記ＨＭＤに表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させる段階を含んでいてよい。
【００１５】
前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線方向に応じて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記ＨＭＤを制御する段階を含んでいてよい。
【００１６】
一実施例に係るコンピュータプログラムは、ＨＭＤに結合されて該ＨＭＤの制御方法を実施するように媒体に記録されたものであってよい。
【発明の効果】
【００１７】
本発明の一側面に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）及びその制御方法を用いれば、ユーザの視線方向が予め設定された条件を満たす場合、それを入力信号として用いてＨＭＤに表示されるイメージを制御することにより、別途のコントローラなしでイベント（ｅｖｅｎｔ）処理などが可能であるという利点がある。
【図面の簡単な説明】
【００１８】
【図１】一実施例に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）のブロック図である。
【図２】一実施例に係るＨＭＤの表示形態を示す概略図である。
【図３ａ】及び
【図３ｂ】一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す概略図である。
【図４】一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す他の概略図である。
【図５】一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示すまた他の概略図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施例について詳述する。
【００２０】
図１は、一実施例に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）のブロック図である。
【００２１】
図１を参照すると、本実施例に係るＨＭＤは、センサ部１０、表示部２０、及び制御部３０を含む。一実施例において、ＨＭＤは、通信部４０及び／または格納部５０を更に含んでいてよい。本実施例に係るＨＭＤは、ユーザが頭部にＨＭＤを着用できるように構成され、必要に応じて一つまたは複数の固定手段（図示せず）を含んでいてよい。例えば、実施例に係るＨＭＤは、ゴーグル（ｇｏｇｇｌｅ）またはヘルメットのような形態で実現されていてよいが、必ずしもこれらに限定されるものではない。
【００２２】
実施例に係るＨＭＤは、全てがハードウェアであるか、または全てがソフトウェアであるか、または部分的にハードウェアで部分的にソフトウェアである側面を有していてよい。例えば、本明細書においてＨＭＤを構成する各「部（ｕｎｉｔ）」は、ハードウェア及びこれを駆動させるための運用ソフトウェアを通称するものであってよい。また、ハードウェアは、ＣＰＵまたは他のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を含むデータ処理機器であってよい。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ  ｏｆ  ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）などを指すものであってよい。
【００２３】
また、実施例に係るＨＭＤを構成する各部は、必ずしも物理的に区分される別個の構成要素を指すものを意図しない。図１においてセンサ部１０、表示部２０、及び制御部３０などを互いに区分される別個のブロックにて図示しているが、実施例によっては、センサ部１０、表示部２０、及び制御部３０の一部または全てを一つの素子として集積化することもできる。例えば、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）のような処理手段、加速度センサ、及びタッチスクリーンを備えたスマートフォン（ｓｍａｒｔｐｈｏｎｅ）が前述したセンサ部１０、表示部２０、及び制御部３０の一つ以上に該当することがあり、このようなスマートフォンが頭部に装着可能な他の部材（図示せず）に結合されて実施例に係るＨＭＤを構成することもできる。すなわち、本明細書に記載されたＨＭＤは、他の部材を介してヘッドマウント用として使用可能なスマートフォンであってもよい。
【００２４】
センサ部１０は、ＨＭＤを着用したユーザの頭部の動きを測定するための部分である。このために、センサ部１０は、ユーザの動きに対するセンサ測定値を得ることができる一つまたは複数の種類のセンサを含んでいてよい。例えば、センサ部１０は、加速度計（ａｃｃｅｌｅｒｏｍｅｔｅｒ）、磁気計（ｍａｇｎｅｔｏｍｅｔｅｒ）、及び／またはジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）からなるものであってよいが、必ずしもこれらに限定されるものではない。センサ部１０により得られた測定値は、ユーザの視点に応じて表示されるイメージに対応する視点を変化させるのに用いられる一方、測定値が所定の条件を満たす場合は、イメージの視点以外の他の要素を制御するための入力信号として用いられ得る。これについては詳細に後述する。
【００２５】
表示部２０は、ユーザの眼付近に位置してイメージを表示するための部分である。表示部２０は、液晶表示装置（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ；ＬＣＤ）または他の適切な画像表示素子を含んでいてよい。また、表示部２０は、画像表示素子によって表示されるイメージの焦点がユーザの眼またはその付近に結ぶようにするための凸レンズなどの一つ以上の光学素子をさらに含んでいてもよい。本明細書において表示部２０に表示されるイメージは、写真のような単一のイメージまたは映像のような一連の連続したイメージをいずれも含むものと意図される。例えば、映像及び／または音声を含む動画などのコンテンツ（ｃｏｎｔｅｎｔｓ）も本明細書に記載されたイメージに含まれ得る。
【００２６】
一実施例において、ＨＭＤは通信部４０を更に含み、表示部２０に表示されるイメージは、通信部４０によりネットワークを介して遠隔サーバ（図示せず）から受信するものであってよい。例えば、通信部４０は、ストリーミング（ｓｔｒｅａｍｉｎｇ）方式にてイメージを受信することもできる。また、ＨＭＤは、通信部４０を介して遠隔サーバにデータを転送することもできる。他の実施例において、表示部２０に表示されるイメージは、格納部５０に予め格納されていたものであってよい。格納部５０は、表示部２０に表示されるイメージまたは他の更なるデータを格納できるリポジトリを含む。
【００２７】
制御部３０は、センサ部１０及び表示部２０に通信可能に接続され、センサ部１０により得られた測定値に基づいて表示部２０に表示されるイメージを制御する。先ず、制御部３０は、センサ部１０により測定されたユーザの動きに応じて表示部２０に表示されるイメージに対応する視点を変化させることができる。これは、広視野角イメージの一部を出力しながらＨＭＤを着用したユーザの頭部が動くことに対応してイメージの表示される部分を移動させることによってユーザが現実感を感じられるようにし、従来のＨＭＤに用いられるのと同じ表示形態である。例えば、ユーザが頭部を右側に回すと、表示部２０に表示されるイメージ全体をこれに対応して左側に移動させることによって、ユーザをしてイメージにて表示された仮想空間で首を回して右側を眺めたように感じさせることである。
【００２８】
一方、従来技術と異なり、制御部３０は、更に、センサ部１０の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて、イメージの視点以外の他の要素を制御するように構成される。本明細書において、「視点以外の他の要素」とは、イメージに関連付けて処理できる様々なイベント（ｅｖｅｎｔ）を意味するものであって、イメージの種類、出力部分、出力形態、再生速度などの変化を指すものであってよい。例えば、表示されるイメージの選択、イメージの再生開始及び中断、イメージが時系列的な動画の場合、早送り（ｆａｓｔ  ｆｏｒｗａｒｄ）、巻き戻し（ｒｅｗｉｎｄ）、再生速度のアップ及びダウン、出力ボリュームの増加及び減少、全画面（ｆｕｌｌ  ｓｃｒｅｅｎ）モードのような表示形態の切替、イメージ上に表示されるメニュー、ボタン（ｂｕｔｔｏｎ）またはアイコン（ｉｃｏｎ）などのユーザインタフェース（ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）の操作がいずれも視点以外の他の要素の制御に該当され得るが、これらに限定されるものではない。イメージがゲーム、バーチャルリアリティ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ；ＶＲ）または拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ；ＡＲ）アプリケーションの一部である場合には、かかるアプリケーションとの相互作用がユーザの動きに応じて行われていてもよい。
【００２９】
本明細書に記載された「視点以外の他の要素」は、ＨＭＤにおいて本質的にユーザの動きに応じて表示されるイメージに対応する視点も変化することとの区分のための相対的な意味として記述されたものであり、ユーザの視線を入力信号として制御される要素が実質的に視点と無関係であることを意味するわけではない。制御部３０は、通常のＨＭＤと同様に、ユーザの動きに応じてイメージに対応する視点が変化するように表示部２０に表示されるイメージを制御し、ユーザの視線方向が特定の条件を満たすと、ユーザの動きを視点の変化に用いずにユーザの視線を入力信号としてイメージの他の任意の要素を制御するように構成される。その結果、ＨＭＤのユーザは、別途のコントローラがなくてもＨＭＤを着用した状態で自身の視線だけでイメージと相互作用することができる。
【００３０】
一実施例において、制御部３０は、表示部２０を、第１モード及び第２モードを含む複数の表示モード間でモードを切り替えながら動作するように制御する。第１モードは、従来のＨＭＤと同様に、ユーザの動きに応じて表示部２０に表示されるイメージに対応する視点が変化する表示形態であり、第２モードは、ユーザの視線が入力信号になって表示部２０に表示されるイメージの視点以外の他の要素が制御される表示形態である。第１モードと第２モードとの間での切り替えは、ユーザの視線方向が特定の条件を満たすことに対する応答としてなされてよく、または、表示部２０に表示されるイメージの終了や切り替えなどの事前に定義されたコンテキスト（ｃｏｎｔｅｘｔ）が生じることに対する応答としてなされていてもよい。視線方向が満たさなければならない条件は、ユーザの視線方向が一定に維持されること、視線方向が特定の方向または位置に向かうこと、またはこれらの組み合わせなどであってよい。しかし、これらに限定されるものではなく、視線方向が満たさなければならない条件は、本明細書に記載されていない別の形態で決定されていてもよい。
【００３１】
一実施例において、制御部３０は、視線方向算出部３１を含む。視線方向算出部３１は、センサ部１０の測定値を用いて表示部２０に表示されるイメージ上でユーザの視線の中心が置かれる位置を算出するように構成される。表示部２０に表示されるイメージは、ユーザの動きに応じて視点が変化するように移動するため、ユーザの視線は常にユーザが見る画面の中央に位置するはずである。しかし、イメージ中でユーザの視線が位置する座標の絶対値は、視線が向かう方向に応じて変わり、これを本明細書では視線方向情報と称する。視線方向算出部３１は、センサ部１０により測定されたセンサ値を用いてユーザの視線移動を算出することによって視線方向情報を得ることができる。
【００３２】
本実施例において、制御部３０は、視線方向算出部３１により算出された視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて表示部２０に表示されるイメージを制御する。ここで、予め設定された条件とは、例えば、視線方向が一定に維持されることや視線方向が特定の方向に向かうことなどを意味していてよく、図２〜図５を参照して詳細に後述する。
【００３３】
一実施例において、制御部３０は、表示モード決定部３２を更に含む。表示モード決定部３２は、視線方向算出部３１により算出された視線方向が特定の条件を満たすことに応答して、表示部２０の表示モードを第１モードと第２モードとの間で切り替えることができる。このとき、第２モードは、視線方向によってモード切り替えがなされると共に、視線によってイメージの制御が行われる間だけ持続されていてよく、または第２モードへの切り替えがなされてから再び所定の条件によって第１モードへの切り替えがなされるまでに持続されていてもよい。第２モードが持続する場合、第２モードへの切り替えがなされた後のユーザの視線は、視点切り替えではない他の要素の制御に入力信号として用いられる。
【００３４】
以下、図２〜図５を参照して視線を用いたＨＭＤのイメージ制御過程を例示的に説明する。しかし、これはユーザの視線によって視点外の要素を制御する過程の一具現例を詳細に説明したことであるに過ぎず、実施例によってなされ得るイメージの制御形態を限定することを意図するものではない。すなわち、以下に記述するのと相違する様々な方式にてイメージの視点外の要素の制御がなされていてもよく、これは本発明の範囲に含まれる。
【００３５】
図２は、一実施例に係るＨＭＤの表示形態を示す概略図である。図２は、ＨＭＤに表示されるイメージにおいて視聴したいコンテンツ自体を除いた画面上のオブジェクト（ｏｂｊｅｃｔ）を示す図である。ＨＭＤに表示するためのイメージの原本は、ユーザの視線によって表示部分を移せるように球（ｓｐｈｅｒｅ）状を有していてよいが、説明の便宜のために全イメージのうちユーザの視野に入ってくる部分だけを長方形状に図式化した。
【００３６】
図２を参照すると、画面上には再生中のコンテンツの題名が表示される領域２０１、関連したソーシャルネットワークサービス（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ；ＳＮＳ）メタデータが表示される領域２０２、時間が表示される領域２０３、タイムラインバー（ｔｉｍｅｌｉｎｅ  ｂａｒ）２０７、及び再生時間表示領域２０８などが表示されていてよい。また、画面上には、一つ以上の制御アイコン２０４、２０５、２０６が表示されていてよい。前述した各オブジェクト２０１〜２０８は表示部に表示されるイメージの特定の座標にマッピングされて、ユーザは自身が見ている仮想空間内で特定の地点にオブジェクト２０１〜２０８が存在しているように感じるようになる。
【００３７】
画面上にはユーザの視線方向を示すカーソル２００が表示されていてもよい。ＨＭＤのユーザが見る画面は、ユーザの視線方向に応じて視点が変化するように移動する。例えば、ユーザが首を右側に回すとイメージ全体がこれに対応して左側に移動する。したがって、カーソル２００は、ユーザが見る画面において常に中央に位置するようになる。しかし、オブジェクト２０１〜２０８は、仮想空間内の特定の座標にマッピングされているため、ユーザは、ＨＭＤ上に表示される画面を見る状態で視線を用いてオブジェクト２０１〜２０８のうちの一つ以上にカーソル２００を位置させてオブジェクト２０１〜２０８を操作することができ、このような操作が本明細書に記載された「視点以外の他の要素」の制御に該当する。
【００３８】
以下の本明細書において説明の便宜のために単にカーソル２００の移動と説明することは、ユーザが視線方向を変えるにつれ画面に表示されるイメージ全体が視線方向の変化に対応して移動し、その結果、ユーザが見る画面中央のカーソル２００がイメージ中の特定の座標に留まるようになることを意味するものと意図される。
【００３９】
一具現例では、ユーザが画面を凝視することに対する応答として、前述したオブジェクト２０１〜２０８が画面上に表示されなくてよい。すなわち、ユーザの視線が一定に維持されることに応答して、全画面モードへの切り替えが行われる。ユーザの視線が一定に維持されるか否かは、予め設定された時間視線方向が予め設定された閾値以下に変化するか否かによって決定されていてよい。例えば、ユーザの視線方向の中心点が最後に動きを止めた地点から視線方向の偏差１５°以内で３秒以上留まる場合、視線方向が一定に維持されたと決定していてよい。以後、ユーザの視線方向の中心点が１５°外に動いていく場合、全画面モードを終了し、再びオブジェクト２０１〜２０８を画面上に表示していてよい。視線方向が一定であるか否かを決定するための前述した基準は単に例示的なものであって、他の実施例ではそれとは別の基準を用いてもよい。
【００４０】
一具現例では、ユーザがオブジェクト２０１〜２０８を凝視することによってオブジェクト２０１〜２０８との相互作用が行われるように構成されていてよい。例えば、ユーザは、アイコン２０５、２０６、２０６のいずれか一つを一定時間凝視することによって当該アイコンに付与された機能を動作させることができる。アイコン２０４、２０５、２０６により実行可能な機能は、巻き戻し、次のコンテンツ再生、メニュー呼び出し、イメージ拡大、イメージ縮小などを含んでいてよいが、これに限定されるものではない。ユーザがオブジェクト２０１〜２０８を凝視したか否かの決定は、全画面モードと関連して前述したのと同じ方式にて行われていてよい。以下、オブジェクト２０１〜２０８との相互作用の一例として、視線を用いたタイムラインバー２０７の操作について説明する。
【００４１】
図３ａ及び図３ｂは、一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す概略図である。
【００４２】
図２、図３ａ、及び図３ｂを参照すると、ユーザの視線方向がタイムラインバー２０７から一定の範囲内でに近接することに応答して、コンテンツの再生が中断し、枠が厚くなったタイムラインバー３０７が表示される。ユーザの視線方向に対応するカーソル２００がタイムラインバー３０７の最も隣接した位置に移動する。また、再生時間表示領域３０８がカーソル２００の下へ移動してカーソル２００位置での再生時間を示し、タイムラインバー３０７の真上にはカーソル２００が位置した部分でのコンテンツサムネール（ｔｈｕｍｂｎａｉｌ）３０１が表示される。この状態でユーザが視線を移動させることにより、カーソル２００を図３ｂに示したように移動させることができ、このとき、再生時間表示領域３０８もカーソル２００と共に移動し、コンテンツサムネールもカーソル２００位置に対応する部分のサムネール３０２に変化する。
【００４３】
ユーザの目的とした時間移動が完了した後、ユーザが視線によってカーソル２００を再びタイムラインバー３０７から外すと、タイムラインバー３０７は再び図２に示されたようなタイムラインバー２０７に戻って、コンテンツの再生が開始される。
【００４４】
図４は、一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す他の概略図である。
【００４５】
図４に示された画面は、コンテンツの再生中でなく複数のコンテンツをサムネール形態で示す画面であって、特定のコンテンツの再生終了、またはユーザがアイコン２０４、２０５、２０６を操作することに対する応答として、図４のような画面が表示されていてよい。図４の画面で再生中に表示されたオブジェクト２０１〜２０６は相対的に暗く表示され、オブジェクト４０１〜４０４が相対的に明るく表示され、ユーザの選択を誘導することができる。ユーザは、視線によってカーソル２００を移動させることによってアイコン４０１を凝視して、もう一度コンテンツを再生するか、または、アイコン４０２を凝視して「Ｌｉｋｅ」などのコンテンツに対するＳＮＳフィードバックを伝送することができる。または、ユーザは、サムネール４０３及びキーワード４０４の形態で表示された他のコンテンツを凝視することによって次に再生するコンテンツを選択することもできる。
【００４６】
図５は、一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示すまた他の概略図である。
【００４７】
図５の画面は、ＨＭＤで使用可能な全コンテンツまたはユーザが特定のキーワードによって検索したコンテンツのうち再生するコンテンツを選択するための画面であってよい。画面上には複数のコンテンツ５０３及び対応キーワード５０４が表示されると共に、スクロールバー（ｓｃｒｏｌｌ  ｂａｒ）５０７及びコンテンツ個数表示領域５０８が表示され、全コンテンツの量を示す。また、画面上には一つ以上の機能アイコン５０１及び対応するキーワード５０２が表示される。ユーザは、機能アイコン５０１を凝視することによって各アイコン５０１に付与された機能を実行することができ、例えば、アイコン５０１の機能には予め決定された特定のコンテンツセット（ｓｅｔ）のサムネールを画面上に表示することであってもよいが、これに限定されるものではない。
【００４８】
ユーザが視線を現在の画面に表示されたサムネール５０３よりもさらに右側に移動させることによって、画面に表示されたサムネール５０３は左側に移動しながら消えて新しいサムネール５０３が右側から現れ、同時にスクロールバー５０７中のバーも移動して全サムネール中の現在表示されたサムネールセットの相対的な位置を示す。または、図３を参照して前述したのと類似の方式にてユーザが視線によってスクロールバー５０７を操作することによって、画面に表示されるサムネールを移動させることもできる。
【００４９】
ユーザがいずれか一つのサムネールを眺めると、ユーザの視線に対応するカーソル２００が当該サムネールの上に位置するようになる。カーソル２００が位置するサムネールは、他のサムネールに比べて相対的に明るく表示され且つグロー（ｇｌｏｗ）効果を有する外郭線が付与されて、当該サムネールが選択されることをユーザに認知させる。カーソル２００が一定の時間当該サムネールの上に位置すると、当該サムネールの選択が決定され、選択されたサムネールに対応するコンテンツの再生が開始される。その結果、図２を参照して前述したのと同じコンテンツ再生画面に表示が切り替えられる。
【００５０】
以上で説明した実施例に係るＨＭＤの動作及びこれを制御するための方法は、少なくとも部分的にコンピュータプログラムで実現され、コンピュータ読み取り可能な記録媒体に記録することができる。前記コンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なデータが格納されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、搬送波（ｃａｒｒｉｅｒ  ｗａｖｅ）（例えば、インターネットを介した伝送の形態）で実現されることも含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークに接続されたコンピュータシステムに分散され、分散方式にてコンピュータ読み取り可能なコードが格納され実行されていてもよい。また、本実施例を実現するための機能的なプログラム、コード、及びコードセグメント（ｓｅｇｍｅｎｔ）は本実施例の属する技術分野における通常の技術者によって容易に理解できるはずである。
【００５１】
以上、本発明を図面に示された実施例を参考にして説明してきたが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であればそれより種々の変形及び実施例の変形が可能であるという点が理解できるであろう。なお、このような変形は本発明の技術的保護範囲内にあるとみなすべきである。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。
【産業上の利用可能性】
【００５２】
実施例は、ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ；ＨＭＤ）とその制御のための方法、及びコンピュータプログラムに関する。
【図１】
2017537368.tif 000003
【図２】
2017537368.tif 000004
【図３ａ】
2017537368.tif 000005
【図３ｂ】
2017537368.tif 000006
【図４】
2017537368.tif 000007
【図５】
2017537368.tif 000008
【国際調査報告】
2017537368.tif 000009
2017537368.tif 000010
2017537368.tif 000011
2017537368.tif 000012