(57)【要約】【課題】ユーザにとって操作しやすく負担の小さいユーザインタフェースを実現する。【解決手段】ユーザが顔の向きを機能Ａのオブジェクト画像Ｏ１のほうに近づけると、画像表示空間においてユーザの視線位置がＥ１からＥ２へと鎖線矢印ＥＭ１２の方向に移動し、ユーザの視線位置Ｅ２はオブジェクト画像Ｏ１に重なる。この場合、表示装置１は、オブジェクト画像Ｏ１の位置を基準として、そのオブジェクト画像Ｏ１にユーザの視線が重なるまでの視線位置の移動方向に、その機能Ａを起動することを決定するためのオブジェクト画像Ｏ２（第２のオブジェクト画像）を新たに表示する。ここで、オブジェクト画像Ｏ１の位置を基準としたときの、オブジェクト画像Ｏ２が出現する方向は、オブジェクト画像Ｏ１にユーザの視線が重なるまでの、その視線位置の移動方向と同じ方向（移動方向に応じた方向）である。【選択図】図４
2018120331.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
画像表示空間におけるユーザの視線位置を検出する検出手段と、
前記検出手段により検出された視線位置に基づいて画像の表示を制御する表示制御手段であって、表示されている第１のオブジェクト画像にユーザの視線位置が重なった場合に、前記第１のオブジェクト画像の位置を基準として、前記第１のオブジェクト画像にユーザの視線位置が重なるまでの前記視線位置の移動方向に応じた方向に、第２のオブジェクト画像を表示する表示制御手段と
して実現するためのプログラム。
【請求項２】
前記表示制御手段は、
前記第１のオブジェクト画像の位置を基準として、前記視線位置の移動方向のベクトルを含む方向に前記第２のオブジェクト画像を表示する
請求項１記載のプログラム。
【請求項３】
前記表示制御手段は、
前記第１のオブジェクト画像に前記視線位置が重なってから、前記第２のオブジェクト画像を前記視線位置の移動に伴ってその透明度を小さくしながら前記視線位置に表示する
請求項１記載のプログラム。
【請求項４】
前記視線位置の移動に伴って前記第２のオブジェクト画像の透明度が閾値以下になったときに、前記第２のオブジェクト画像が選択される
請求項３記載のプログラム。
【請求項５】
前記表示制御手段は、
前記第１のオブジェクト画像と前記第２のオブジェクト画像とを一部重ねて表示する
請求項１〜４のいずれか１項に記載のプログラム。
【請求項６】
前記表示制御手段は、
ユーザの視線が重なった前記第１のオブジェクト画像の種別を判別し、
前記第１のオブジェクト画像が第１の種別である場合には、前記第１のオブジェクト画像の位置を基準として、前記第１のオブジェクト画像にユーザの視線が重なるまでの前記視線位置の移動方向に応じた方向に前記第２のオブジェクト画像を表示し、
前記第１のオブジェクト画像が第２の種別である場合には、前記第１のオブジェクト画像の位置を基準として予め決められた方向に前記第２のオブジェクト画像を表示する
請求項１〜５のいずれか１項に記載のプログラム。
【請求項７】
画像表示空間におけるユーザの視線位置を検出する検出手段と、
前記検出手段により検出された視線位置に基づいて画像の表示を制御する表示制御手段であって、第１のオブジェクト画像にユーザの視線位置が重なった場合に、前記第１のオブジェクト画像の位置を基準として、前記第１のオブジェクト画像にユーザの視線位置が重なるまでの前記視線位置の移動方向に応じた方向に、第２のオブジェクト画像を表示する表示制御手段と
を備える表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの指示を受け付けるユーザインタフェースとしてのオブジェクト画像を表示するための技術に関する。
【背景技術】
【０００２】
頭部に装着するディスプレイ装置として、ヘッドマウントディスプレイ（Head Mounted Display以下、「ＨＭＤ」と称する。）が普及してきている。ＨＭＤは、コンピューターグラフィックス等を利用して人工的に現実感を作り出すＶＲ（Virtual reality）と呼ばれる画像表示空間を形成することで、臨場感を高めたゲーム等を提供することが可能となる。例えば特許文献１には、ＶＲにおいて画像を表示しているときに、視聴者の視線の先にある画像に対応したイベントを起動することで、視聴者の見る方向に応じたインタラクティブな動画再生を実現するための仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１３４７４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このようなＶＲにおいて、ユーザが視線で操作するためのユーザインタフェースとして次のようなものが知られている。例えば図１１に示すように、或る機能を起動するためのオブジェクト画像Ｏをユーザが注視すると（図１１（Ａ））、これを注視している時間の経過を示すインジケータＩが表示され（図１１（Ｂ））、その経過時間が閾値を超えると、オブジェクト画像Ｏに対応する機能が起動される。しかし、この手法では、ユーザがオブジェクト画像Ｏを注視し始めてから機能が起動されるまでに相当の時間を要してしまうという問題がある。
【０００５】
また、例えば図１２に示すように、或る機能を起動するためのオブジェクト画像Ｏをユーザが注視すると（図１２（Ａ））、オブジェクト画像Ｏに対応する機能を起動するか否かの選択肢が表示されるものも知られている（図１２（Ｂ））。この場合、ユーザが機能の起動を肯定するジェスチャとして例えば顔を上下に振る動作を行うと、その機能が起動されるし、ユーザが機能の起動を否定するジェスチャとして例えば顔を左右に振る動作を行うと、その機能がキャンセルされる。しかし、この手法では、ユーザがわざわざ頭部を上下又は左右に振る必要があるため煩雑であることに加え、頭部の動きに伴い視線も動いてしまうので、例えば表示中のゲームの展開を見逃す可能性がある。
【０００６】
本発明は、上述した背景の下になされたものであり、ユーザにとって操作しやすく負担の小さいユーザインタフェースを実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、コンピュータを、画像表示空間におけるユーザの視線位置を検出する検出手段と、前記検出手段により検出された視線位置に基づいて画像の表示を制御する表示制御手段であって、表示されている第１のオブジェクト画像にユーザの視線位置が重なった場合に、前記第１のオブジェクト画像の位置を基準として、前記第１のオブジェクト画像にユーザの視線位置が重なるまでの前記視線位置の移動方向に応じた方向に、第２のオブジェクト画像を表示する表示制御手段として実現するためのプログラムを提供する。
【０００８】
前記表示制御手段は、前記第１のオブジェクト画像の位置を基準として、前記視線位置の移動方向のベクトルを含む方向に前記第２のオブジェクト画像を表示するようにしてもよい。
【０００９】
前記表示制御手段は、前記第１のオブジェクト画像に前記視線位置が重なってから、前記第２のオブジェクト画像を前記視線位置の移動に伴ってその透明度を小さくしながら前記視線位置に表示するようにしてもよい。
【００１０】
前記視線位置の移動に伴って前記第２のオブジェクト画像の透明度が閾値以下になったときに、前記第２のオブジェクト画像が選択されるようにしてもよい。
【００１１】
前記表示制御手段は、前記第１のオブジェクト画像と前記第２のオブジェクト画像とを一部重ねて表示するようにしてもよい。
【００１２】
前記表示制御手段は、ユーザの視線が重なった前記第１のオブジェクト画像の種別を判別し、前記第１のオブジェクト画像が第１の種別である場合には、前記第１のオブジェクト画像の位置を基準として、前記第１のオブジェクト画像にユーザの視線が重なるまでの前記視線位置の移動方向に応じた方向に前記第２のオブジェクト画像を表示し、前記第１のオブジェクト画像が第２の種別である場合には、前記第１のオブジェクト画像の位置を基準として予め決められた方向に前記第２のオブジェクト画像を表示するようにしてもよい。
【００１３】
また、本発明は、画像表示空間におけるユーザの視線位置を検出する検出手段と、前記検出手段により検出された視線位置に基づいて画像の表示を制御する表示制御手段であって、第１のオブジェクト画像にユーザの視線位置が重なった場合に、前記第１のオブジェクト画像の位置を基準として、前記第１のオブジェクト画像にユーザの視線位置が重なるまでの前記視線位置の移動方向に応じた方向に、第２のオブジェクト画像を表示する表示制御手段とを備える表示装置を提供する。
【発明の効果】
【００１４】
本発明によれば、ユーザにとって操作しやすく負担の小さいユーザインタフェースが実現される。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る表示システムの外観の一例を示す図である。
【図２】表示装置のハードウェア構成の一例を示すブロック図である。
【図３】表示装置の表示制御の一例を説明するための図である。
【図４】表示装置の表示制御の一例を説明するための図である。
【図５】表示装置の表示制御の一例を説明するための図である。
【図６】表示装置の表示制御の一例を説明するための図である。
【図７】表示装置の表示制御の一例を説明するための図である。
【図８】表示装置の機能構成の一例を示すブロック図である。
【図９】オブジェクト画像の表示に関する処理手順の一例を示すフローチャートである。
【図１０】オブジェクト画像テーブルの一例を示す図である。
【図１１】従来の表示制御を説明するための図である。
【図１２】従来の表示制御を説明するための図である。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、本発明の一実施形態について説明する。
図１は、本発明の一実施形態に係る表示システム１００の外観の一例を示す図である。図１に示すように、表示システム１００は、表示装置１と、ヘッドマウント機構２とを備えている。ヘッドマウント機構２は、表示装置１の表示領域をユーザが視認し得るように、ユーザの頭部に表示装置１を装着するための機構である。ヘッドマウント機構２は、ユーザの両眼近傍を含む顔の上部を覆う形状となっており、スロットイン形式等で表示装置１を装着可能な装着部２１と、表示装置１に表示される画像を拡大して立体的な画像としてユーザに視認させるためのレンズ部２２と、ユーザの頭部の周囲に掛け渡されるベルト２３と、電源ボタン等を含む操作子としてのスイッチ群２４とを有する。図１の鎖線矢印で示すように、表示装置１が装着部２１に対して、その表示領域がユーザ側に向くように取り付けられる。スイッチ群２４は有線または無線で表示装置１に接続されており、ユーザによるスイッチ群２４の操作に応じて表示装置１が動作する。なお、ヘッドマウント機構２は、図１に例示した構成以外に、例えばヘッドフォンやマイク或いはカメラなどの、その他の構成を備えていてもよい。
【００１７】
表示装置１は、例えばスマートホンやタブレット等の表示機能を備えたコンピュータである。表示装置１は振動ジャイロセンサを備えており、この振動ジャイロセンサによって検知した角速度に基づいて、表示装置１の動き、即ちこれを装着したユーザの頭部の動きを検知する。そして、表示装置１は、検知した動きに連動するように、表示する画像を制御する。これにより、ユーザが視線を動かした方向へと画像が追従し、いわゆるＶＲが実現される。
【００１８】
図２は、表示装置１のハードウェア構成の一例を示すブロック図である。図２に示すように、表示装置１は、制御部１１と、通信部１２と、記憶部１３と、ＵＩ（User Interface）部１４と、センサ部１５と備えたコンピュータである。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などの記憶装置とを備えている。ＲＯＭには、ＣＰＵによって実行されるプログラムが記憶されている。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１３に記憶されたプログラムを実行することによって、表示装置１の各部の動作を制御し、例えば後述するような表示制御を実現する。通信部１２は、例えばＬＴＥ（Long Term Evolution）やＷｉ−Ｆｉ（登録商標）等の通信規格で動作するアンテナや通信回路を備えており、通信網を介した通信を行う。記憶部１３は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリなどの記憶手段であり、制御部１１が用いるデータ群やプログラム群を記憶している。ＵＩ部１４は、例えばキーやタッチセンサなどの操作子が設けられた操作部と、例えば液晶パネルや液晶駆動回路などの表示部と、例えばマイク及びスピーカなどの音声入出力部とを含んでいる。センサ部１５は、上述した振動ジャイロセンサを含み、表示装置１の動き、つまりこれを装着したユーザの頭部の動きを検知する。表示装置１は、図２に例示した構成以外に、例えばカメラやＧＰＳユニットなどの、その他の構成を含んでいてもよい。
【００１９】
図３は、表示装置１においてＣＰＵがプログラムを実行することによって実現される表示装置１の機能構成を示すブロック図である。図３に示すように、表示装置１において、例えばＶＲによって実現される３次元の仮想的な画像表示空間におけるユーザの視線位置を検出する検出部１０１と、検出部１０１により検出された視線位置に基づいて画像の表示を制御する表示制御部１０２とが実現される。ユーザが表示システム１００を自身の頭部に装着した状態で顔の向きを動かすと、検出部１０１は、画像表示空間においてユーザの視線の先に相当する位置を検出する。ここで、表示装置１の表示領域においてユーザにより注視されている位置をその表示領域の中心とし、検出部１０１は、表示領域上で注視されている位置が、ＶＲによって実現される画像表示空間においてどの位置に相当するかを検出する。ここで、この画像表示空間においてユーザが注視しているとみなされる、そのユーザの視線の先に相当する位置を、「ユーザの視線位置」と定義する。
【００２０】
表示制御部１０２は、既に表示されている第１のオブジェクト画像にユーザの視線位置が重なった場合に、その第１のオブジェクト画像に関連する第２のオブジェクト画像を新たに表示する。このとき、表示制御部１０２は、第１のオブジェクト画像の位置を基準として、その第１のオブジェクト画像にユーザの視線が重なるまでのその視線の移動方向に応じた方向に、第２のオブジェクト画像を表示する。ここで、「オブジェクト画像」とは、ユーザの指示を受け付けるユーザインタフェースとして機能する画像であり、その形状、模様、色、大きさ又は時間経過に伴う外観上の変化等の外観的要素は特に限定されない。また、オブジェクト画像によってユーザの指示が受け付けられた後に実行される処理の内容についても特に限定されず、どのような処理であってもよい。
【００２１】
図４以降を参照して、表示装置１による表示制御の例について説明する。例えば図４（Ａ）では、画像表示空間において「機能Ａ」を起動するためのユーザインタフェースとしてのオブジェクト画像Ｏ１（第１のオブジェクト画像）が表示されている。ユーザが表示システム１００を自身の頭部に装着した状態で顔の向きを動かすと、検出部１０１は、画像表示空間におけるユーザの視線位置を検出する。ここで、ユーザが自身の顔の向きを機能Ａのオブジェクト画像Ｏ１のほうに近づけると、その動きに伴い、画像表示空間におけるユーザの視線位置がＥ０からＥ１へと鎖線矢印ＥＭ０１の方向に移動し、オブジェクト画像Ｏ１に近づいていく。
【００２２】
そしてさらに、ユーザが顔の向きを機能Ａのオブジェクト画像Ｏ１のほうに近づけると、図４（Ｂ）に示すように、画像表示空間においてユーザの視線位置が鎖線矢印ＥＭ１２の方向に移動し、ユーザの視線位置Ｅ２がオブジェクト画像Ｏ１に重なる。この場合、表示制御部１０２は、オブジェクト画像Ｏ１の位置を基準として、そのオブジェクト画像Ｏ１にユーザの視線が重なるまでの視線位置の移動方向に、その機能Ａを起動することを決定するためのオブジェクト画像Ｏ２（第２のオブジェクト画像）を表示する。ここで、オブジェクト画像Ｏ１とオブジェクト画像Ｏ２とはその一部が重なっており、これにより、第１のオブジェクト画像と第２のオブジェクト画像との関連性があることがユーザに提示される。
【００２３】
ここで、ユーザの視線位置の移動方向を意味する鎖線矢印ＥＭ１２と、オブジェクト画像Ｏ１の重心位置Ｐ１からオブジェクト画像Ｏ２の重心位置Ｐ２へと向かう方向を意味する鎖線矢印ＰＭ１２とは、平行である。つまり、オブジェクト画像Ｏ１の位置を基準としたときの、オブジェクト画像Ｏ２が出現する方向は、オブジェクト画像Ｏ１にユーザの視線が重なるまでの、その視線位置の移動方向と同じ方向（移動方向に応じた方向）である。なお、ここではオブジェクト画像の位置としてその重心位置を用いているが、必ずしもそうである必要はなく、オブジェクト画像の位置はオブジェクト画像を代表する位置であればよい。
【００２４】
そして、ユーザが顔の向きをオブジェクト画像Ｏ２のほうに近づけると、図４（Ｃ）に示すように、画像表示空間においてユーザの視線位置が鎖線矢印ＥＭ２３の方向に移動して、ユーザの視線位置Ｅ３がオブジェクト画像Ｏ２に重なる。この場合、表示装置１は、機能Ａを実現するというユーザの意図が確定したと判断して、機能Ａを起動するという処理を行う。
【００２５】
このようにすれば、ユーザはオブジェクト画像Ｏ１を見た後、そのオブジェクト画像Ｏ１を見るまでの頭部の動きを継続したまま、新たに出現したオブジェクト画像Ｏ２を見るだけでよいので、例えば図１１で説明したような従来の仕組みと比較して、オブジェクト画像を選択するのに要する時間を短縮可能となる。また、図１２で説明した仕組みでは、ユーザが最初のオブジェクト画像を選択するための頭部の動きと、新たに出現したオブジェクト画像を選択するための頭部の動きとの間において、いったんその動きが中断することになり、動作の連続性が乏しく、ユーザにとって操作負担が小さくないと言える。これに対し、図４で説明した仕組みによれば、ユーザはオブジェクト画像Ｏ１を選択するための頭部の動きをそのまま続けるかたちで、次のオブジェクト画像Ｏ２を選択することができるので、動作の連続性が維持され、操作がスムーズで且つその操作負担も小さくなる。また、オブジェクト画像Ｏ１とオブジェクト画像Ｏ２とはその一部が重なっているので、新たに出現したオブジェクト画像Ｏ２がオブジェクト画像Ｏ１に関連するものであることをユーザに提示することができる。
【００２６】
次に、図５は、新たに表示されるオブジェクト画像（第２のオブジェクト画像）が複数ある例を示す。ユーザが顔の向きをオブジェクト画像Ｏ１のほうに近づけてユーザの視線位置Ｅ２がオブジェクト画像Ｏ１に重なった場合、表示制御部１０２は、機能Ａの起動を決定するためのオブジェクト画像Ｏ２（第２のオブジェクト画像）と、その機能Ａの起動をキャンセルするためのオブジェクト画像Ｏ３（第２のオブジェクト画像）を新たに表示する。このとき、表示制御部１０２は、オブジェクト画像Ｏ１の位置を基準として、そのオブジェクト画像Ｏ１にユーザの視線が重なるまでの視線位置の移動方向のベクトルを含む方向に、オブジェクト画像Ｏ２、Ｏ３を表示する。
【００２７】
ここで、図示している鎖線矢印Ｖのベクトルと、鎖線矢印ＥＭ１２のベクトルとは同じ方向のベクトルである。オブジェクト画像Ｏ１の重心位置Ｐ１からオブジェクト画像Ｏ２の重心位置Ｐ２へと向かう方向（鎖線矢印ＰＭ１２）は、ユーザの視線位置の移動方向（鎖線矢印ＥＭ１２）の単位ベクトルをベクトル要素として含む。また、オブジェクト画像Ｏ１の重心位置Ｐ１からオブジェクト画像Ｏ３の重心位置Ｐ３へと向かう方向（鎖線矢印ＰＭ１３）は、ユーザの視線位置の移動方向（鎖線矢印ＥＭ１２）の単位ベクトルをベクトル要素として含む。つまり、オブジェクト画像Ｏ１の位置を基準としたときのオブジェクト画像Ｏ２，Ｏ３が出現する方向はいずれも、オブジェクト画像Ｏ１にユーザの視線が重なるまでの、その視線位置の移動方向のベクトルを含む方向（移動方向に応じた方向）である。
【００２８】
このようにすれば、図１２で説明した仕組みに比べれば、ユーザが最初のオブジェクト画像を選択するための頭部の動きと、新たに出現したオブジェクト画像を選択するための頭部の動きとの間において動作の連続性が或る程度は維持されるし、さらに、複数のオブジェクト画像の中からいずれかを選択することが可能となる。
【００２９】
図６は、新たに表示されるオブジェクト画像（第２のオブジェクト画像）の別の例を示している。ユーザの視線位置Ｅ２が機能Ａに対応するオブジェクト画像Ｏ１に重なった場合、表示制御部１０２は、機能Ａに関するパラメータを指定するためのオブジェクト画像Ｏ２（第２のオブジェクト画像）を表示する。例えば機能Ａが音量調整という機能であれば、そのパラメータは音量値である。ここで、オブジェクト画像Ｏ１の位置を基準としたときのオブジェクト画像Ｏ２が出現する方向は、オブジェクト画像Ｏ１にユーザの視線が重なるまでの、その視線位置の移動方向である。この場合、ユーザが視線位置をオブジェクト画像Ｏ２において音量値を指定するためのスライダ画像Ｓに重ねた後、そのオブジェクト画像Ｏ２上でパラメータの増減方向のいずれか（ここではＥ３からＥ４への上方向）に視線位置を移動させると、その視線位置の移動に追随してスライダ画像Ｓも上方向に移動する。ユーザは所望の音量値に対応する位置にスライダＳを移動させると、視線位置をスライダＳから外し、これにより音量値が設定される。
【００３０】
このようにしても、ユーザが最初のオブジェクト画像Ｏ１を選択するための頭部の動きと、新たに出現したオブジェクト画像Ｏ２を選択するための頭部の動きとの間において動作の連続性が維持されるし、さらに、新たに出現したオブジェクト画像Ｏ２を選択する動作に続けて、そのオブジェクト画像Ｏ２に対応する機能に関するパラメータを視線位置によって設定することが可能となる。
【００３１】
図７に、新たに表示されるオブジェクト画像が、ユーザの視線位置の移動方向に依存せずに、予め決められた固定の方向に表示される例を示す。ユーザの視線位置Ｅ２がオブジェクト画像Ｏ１に重なった場合、表示制御部１０２は、機能Ａに関する選択肢を選択するためのオブジェクト画像Ｏ２，Ｏ３，Ｏ４（第２のオブジェクト画像）を表示する。例えば機能Ａがリスト表示という機能であれば、その選択肢はリストに含まれる各項目である。このとき、表示制御部１０２は、オブジェクト画像Ｏ１の位置を基準として、表示装置１の表示領域において予め設定されたＸ軸正方向にオブジェクト画像Ｏ２を表示し、Ｙ軸正方向にオブジェクト画像Ｏ３を表示し、Ｘ軸負方向にオブジェクト画像Ｏ４を表示する。オブジェクト画像Ｏ１〜Ｏ４が、上記のように決められた方向に出現したほうがユーザにとって理解しやすく操作しやすいような特定の種別に属する場合には、ユーザの視線位置の移動方向に依存せずに、このような表示制御にしてもよい。
【００３２】
このようにすれば、ユーザの視線位置の移動方向に応じた方向にオブジェクト画像を表示する場合と、ユーザの視線位置の移動方向に依存せずに、予め決められた方向にオブジェクト画像を表示する場合とを、オブジェクト画像の種別に応じて選択的に実施することが可能となる。
【００３３】
図８は、新たに表示されるオブジェクト画像の別の表示形態を示している。ユーザが顔の向きを機能Ａのオブジェクト画像Ｏ１のほうに近づけると、図８（Ａ）に示すように、画像表示空間においてユーザの視線位置が鎖線矢印ＥＭ１２の方向に移動し、ユーザの視線位置Ｅ２がオブジェクト画像Ｏ１の縁部に重なる。このとき、表示制御部１０２は、新たなオブジェクト画像Ｏ２が透明な状態でオブジェクト画像Ｏ１と同じ位置に出現したと仮定する。
【００３４】
さらに、ユーザの視線位置がオブジェクト画像Ｏ１の縁部から中心部へと鎖線矢印ＥＭ２３及び鎖線矢印ＥＭ３４の方向に移動するに伴い、表示制御部１０２は、オブジェクト画像Ｏ２の透明度を徐々に小さくしながら（つまり透明な状態から半透明の状態へ遷移させながら）、その視線位置に追随する位置にオブジェクト画像Ｏ２を表示する（図８（Ｂ）（Ｃ））。
【００３５】
そして、表示制御部１０２は、オブジェクト画像Ｏ２の移動量、つまりオブジェクト画像Ｏ１及びオブジェクト画像Ｏ２の重心間距離が閾値に達した時点で、オブジェクト画像Ｏ２の透明度を最低値にする（つまり透明度をゼロにしてオブジェクト画像Ｏ２がまったく透明では無い状態にする）。これと同時に、表示制御部１０２は、機能Ａを実現するというユーザの意図を確定して、機能Ａを起動する。つまり表示制御部１０２は、オブジェクト画像Ｏ２の透明度が最低値を超える期間は（つまりオブジェクト画像Ｏ２が透明状態から半透明状態であるときは）、ユーザの視線位置がオブジェクト画像Ｏ２に重なっていたとしても、機能Ａの起動は行わない。
【００３６】
このようにすれば、既に表示されているオブジェクト画像Ｏ１の位置から新たなオブジェクト画像Ｏ２が徐々に現れてくることになるので、オブジェクト画像Ｏ２がオブジェクト画像Ｏ１に関連するものであることをユーザに提示することができる。また、オブジェクト画像Ｏ２が半透明である期間は、ユーザの視線位置がオブジェクト画像Ｏ２に重なっていたとしても機能Ａの起動は行わないので、確実にユーザの意思確認を行って誤動作を防止するという効果もある。
【００３７】
図９は表示装置においてオブジェクト画像の表示に関する処理手順を示すフローチャートである。ユーザが表示システム１００を装着した状態で頭部を動かすと、表示装置１（検出部１０１）は、画像表示空間におけるユーザの視線位置を検出する（ステップＳ１１）。ここで、画像表示空間においてユーザの視線位置がオブジェクト画像に重なると（ステップＳ１２：ＹＥＳ）、表示装置１（表示制御部１０２）は、そのオブジェクト画像の種別に基づいて、ユーザの視線位置の移動方向を特定する必要があるか否かを判断する（ステップＳ１３）。
【００３８】
この判断を行うために、記憶部１３には図１０に例示するようなオブジェクト画像テーブルが記憶されている。図１０に示すように、例えば第１階層に属するオブジェクト画像ＩＤ「ＯＢ０１」のオブジェクト画像（第１のオブジェクト画像）に視線位置が重なると、第２階層に属するオブジェクト画像ＩＤ「ＯＢ０１１」のオブジェクト画像（第２のオブジェクト画像）が、視線位置の移動方向に表示されるようになっている。また、例えば第１階層に属するオブジェクト画像ＩＤ「ＯＢ０２」のオブジェクト画像（第１のオブジェクト画像）に視線位置が重なると、第２階層に属するオブジェクト画像ＩＤ「ＯＢ０２１」「ＯＢ０２２」のオブジェクト画像（第２のオブジェクト画像）が、視線位置の移動方向＋３０°と、視線位置の移動方向−３０°とにそれぞれ表示されるようになっている。なお、ここでは時計回りを正の回転方向とし、反時計回りを負の回転方向とする。また、例えば第１階層に属するオブジェクト画像ＩＤ「ＯＢ０３」のオブジェクト画像（第１のオブジェクト画像）に視線位置が重なると、第２階層に属するオブジェクト画像ＩＤ「ＯＢ０３１」「ＯＢ０３２」「ＯＢ０３３」のオブジェクト画像（第２のオブジェクト画像）が、視線位置の移動方向＋３０°と、視線位置の移動方向と、視線位置の移動方向−３０°とにそれぞれ表示されるようになっている。また、例えば第１階層に属するオブジェクト画像ＩＤ「ＯＢ０４」のオブジェクト画像（第１のオブジェクト画像）に視線位置が重なると、第２階層に属するオブジェクト画像ＩＤ「ＯＢ０４１」「ＯＢ０４２」「ＯＢ０４３」のオブジェクト画像（第２のオブジェクト画像）が、視線位置の移動方向に関係なく、Ｙ軸正方向とＸ軸正方向とＸ軸負方向とにそれぞれ表示されるようになっている。表示装置１（表示制御部１０２）は、このようなオブジェクト画像テーブルを参照して、ユーザの視線位置の移動方向を特定する必要があるか否かを判断する（ステップＳ１３）。
【００３９】
表示装置１（表示制御部１０２）は、ユーザの視線位置の移動方向を特定する必要があると判断すると（ステップＳ１３：ＹＥＳ）、ユーザの視線位置の移動方向を特定して、（ステップＳ１４）、その移動方向に応じた表示制御を行う（ステップＳ１５）。また、  表示装置１（表示制御部１０２）は、ユーザの視線位置の移動方向を特定する必要がないと判断すると（ステップＳ１３：ＮＯ）、予め決められた方向にオブジェクト画像を表示する制御を行う（ステップＳ１５）。
【００４０】
［変形例］
表示装置１（表示制御部１０２）は、第１のオブジェクト画像の位置を基準として、第１のオブジェクト画像にユーザの視線位置が重なるまでの視線位置の移動方向に応じた方向に、第２のオブジェクト画像を表示すればよい。つまり、第１のオブジェクト画像の位置から見た第２のオブジェクト画像の方向が、第１のオブジェクト画像にユーザの視線位置が重なるまでの視線位置の移動方向に対して関係性があればよい。
【００４１】
実施形態ではオブジェクト画像の階層構造が２階層であったが、３階層以上であってもよい。３階層以上の場合において、１階層に属するオブジェクト画像を第１のオブジェクト画像として解釈し、２階層に属するオブジェクト画像を第２のオブジェクト画像として解釈し得るし、また、２階層に属するオブジェクト画像を第１のオブジェクト画像として解釈し、３階層に属するオブジェクト画像を第２のオブジェクト画像として解釈し得る。つまり、Ｎ階層に属するオブジェクト画像を第１のオブジェクト画像とし、Ｎ＋１階層に属するオブジェクト画像を第２のオブジェクト画像とするという、一般化が可能である。
【００４２】
前述したように、オブジェクト画像は、ユーザの指示を受け付けるユーザインタフェースとして機能する画像であり、その形状、模様、色、大きさ、又は、時間経過に伴う外観上の変化等の外観的要素は特に限定されない。また、オブジェクト画像によってユーザの指示が受け付けられた後に実行される処理の内容についても特に限定されない。また、オブジェクト画像は、画像表示空間におけるどこに配置されていてもよい。
【００４３】
表示装置１（表示制御部１０２）は、複数の第２のオブジェクト画像を表示した場合、ユーザの視線により選択されたオブジェクト画像と選択されなかったオブジェクト画像とを表示形態上で区別し、選択されなかったオブジェクト画像を選択不可となるように制御してもよい。
【００４４】
本発明に係る表示制御装置は、ユーザの顔の向きをユーザの視線として検出するタイプの装置でもよいし、ユーザの眼球の動きを追って視線そのものを検出するタイプの装置でもあってもよい。
また、本発明は、ＶＲの用途に限らず、２次元の画像表示空間においても適用可能である。
【００４５】
表示装置１の機能（図３）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、表示装置及びヘッドマウント機構からなるヘッドセットをパーソナルコンピュータに通信可能に接続した構成において、パーソナルコンピュータが本発明に係る検出手段及び表示制御手段として機能してもよいし、ヘッドセットとパーソナルコンピュータとが本発明に係る検出手段及び表示制御手段を分担して司るような形態であってもよい。
【００４６】
フローチャート（図９）においては、矛盾の無い限り、順序を入れ替えてもよい。つまり、図９では、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【００４７】
本発明は、表示装置１が行う情報処理方法、或いは、表示装置１としてコンピュータを機能させるためのプログラムといった形態でも実施が可能である。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。このプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか又は他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【符号の説明】
【００４８】
１…表示装置、１１…制御部、１２…通信部、１３…記憶部、１４…ＵＩ部、１５…センサ部、２…ヘッドマウント機構、２１…装着部、２２…レンズ部、２３…ベルト、２４…スイッチ群、１０１…検出部、１０２…表示制御部。
【図１】
2018120331.tif 000003
【図２】
2018120331.tif 000004
【図３】
2018120331.tif 000005
【図４】
2018120331.tif 000006
【図５】
2018120331.tif 000007
【図６】
2018120331.tif 000008
【図７】
2018120331.tif 000009
【図８】
2018120331.tif 000010
【図９】
2018120331.tif 000011
【図１０】
2018120331.tif 000012
【図１１】
2018120331.tif 000013
【図１２】
2018120331.tif 000014