(57)【特許請求の範囲】
【請求項１】
ユーザーに視認されるように所定の端末の設定画面を表示する表示システムであって、
前記ユーザーの視線方向を検出する視線方向検出部と、
前記視線方向検出部により検出された前記視線方向に基づき、前記ユーザーの視野内に存在する複数の前記端末のうちの１つを特定する端末特定部と、
前記端末特定部により特定された前記端末の前記設定画面を表示させる表示制御部と、
前記ユーザーの視野に入る周辺環境の画像を取得する環境画像取得部と、
前記環境画像取得部により取得された前記周辺環境の画像に基づき、前記ユーザーの視野内に所定のオブジェクトが存在するか否かを判定する判定部と
を備え、
前記端末の前記設定画面が複数種類存在し、
前記表示制御部は、
重ねられつつ所定の方向にずらされた状態の前記複数種類の設定画面を表示させるとともに、
前記複数種類の設定画面のうち、最上層に位置させる前記設定画面を、前記視線方向に応じて切り替え、
前記判定部により前記オブジェクトが存在すると判定されている間、前記設定画面の切り替え、及び、前記最上層に位置させる前記設定画面の切り替えが制限される、表示システム。
【請求項２】
前記端末特定部は、前記複数の端末のうち、前記ユーザーによって注視されている端末を特定する、請求項１に記載の表示システム。
【請求項３】
前記表示制御部は、前記ユーザーに視認されるように前記端末の近傍にアイコンを表示させる、請求項１又は請求項２に記載の表示システム。
【請求項４】
前記端末特定部は、前記ユーザーによって注視されている前記アイコンに対応する前記端末を特定する、請求項３に記載の表示システム。
【請求項５】
前記端末特定部は、
前記視線方向検出部により検出された前記視線方向に基づき、前記ユーザーの注視点の３次元座標を検出し、
前記注視点に基づき、前記ユーザーの視野内に存在する複数の前記端末のうちの１つを特定する、請求項１〜請求項３のいずれか１項に記載の表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システムに関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレーを用いて画像形成装置の設定を行うための技術の開発が行われている。ヘッドマウントディスプレーは、ウェアラブル端末（又はウェアラブルコンピューター）の一種であり、ユーザーが視認できるように所定の画像（所定の情報）を表示する。例えば特許文献１には、網膜投影方式（透過方式）の単眼型ヘッドマウントディスプレーを用いて画像形成装置の設定を行う技術が開示されている。
【０００３】
詳しくは、特許文献１に開示されている技術によれば、ヘッドマウントディスプレー本体に電源が投入されると、所定の画像形成装置の設定画面（操作パネル）が網膜に投影される。また、ユーザーの視野範囲の少なくとも一部が撮像されており、ユーザーが設定画面を操作するために撮像範囲（ユーザーの視野範囲）内で指を動かすと、撮像された画像が解析されて、ユーザーの指の動きが検知される。そして、動いた指の指先の座標と、設定画面に含まれる各キーの座標とが比較されて、ユーザーが操作したキーが判別される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４５８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術は、複数の画像形成装置（複数の端末）を設定の対象とすることができない。
【０００６】
本発明は上記課題に鑑みてなされたものであり、その目的は、複数の端末を設定の対象とすることができる表示システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の表示システムは、ユーザーに視認されるように所定の端末の設定画面を表示する。当該表示システムは、視線方向検出部と、端末特定部と、表示制御部とを備える。前記視線方向検出部は、前記ユーザーの視線方向を検出する。前記端末特定部は、前記視線方向検出部により検出された前記視線方向に基づき、前記ユーザーの視野内に存在する複数の前記端末のうちの１つを特定する。前記表示制御部は、前記端末特定部により特定された前記端末の前記設定画面を表示させる。
【発明の効果】
【０００８】
本発明によれば、複数の端末を設定の対象とすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る表示システムの構成を示す図である。
【図２】本発明の実施形態に係るヘッドマウントディスプレーを示す図である。
【図３】本発明の実施形態に係るヘッドマウントディスプレーの構成を示すブロック図である。
【図４】本発明の実施形態に係る画像形成装置の構成を示すブロック図である。
【図５】本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。
【図６】本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。
【図７】本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。
【図８】本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。
【図９】本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。
【図１０】本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。
【図１１】本発明の実施形態に係る表示システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。但し、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【００１１】
まず図１を参照して、本実施形態に係る表示システム１０の構成を説明する。図１は表示システム１０の構成を示す図である。図１に示すように、表示システム１０は、ヘッドマウントディスプレー２０と、複数（本実施形態では２つ）の画像形成装置４０（第１画像形成装置４０ａ及び第２画像形成装置４０ｂ）とを備える。
【００１２】
表示システム１０は、ヘッドマウントディスプレー２０を用いて、複数の画像形成装置４０（複数の固定端末）のうちのいずれか１つ画像形成装置４０の設定画面をユーザーが視認できるように表示する。また、表示システム１０は、表示されている設定画面に対するユーザーの指の動きを検出する。そして、表示中の設定画面を所有する画像形成装置４０（以下、現在の設定対象の画像形成装置４０と記載する場合がある）に対し、ユーザーの指の動きに応じた信号を送信する。この結果、画像形成装置４０の設定が更新される。
【００１３】
本実施形態におけるヘッドマウントディスプレー２０はビデオ透過式であり、環境画像取得部２１を備える。環境画像取得部２１は、ユーザーの視野に入ることが推定される周辺環境の画像を取得する。環境画像取得部２１は、例えば、ＣＭＯＳイメージセンサーやＣＣＤイメージセンサーのような撮像素子を含む。
【００１４】
ヘッドマウントディスプレー２０を装着したユーザーは、環境画像取得部２１により取得された周辺環境画像を視認する。また、ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に１つの画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像とともに、周辺環境画像内の画像形成装置４０の設定画面をユーザーに視認させる。つまり、周辺環境画像とともに、周辺環境画像内の画像形成装置４０の設定画面が表示される。また、ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像とともに、周辺環境画像内の複数の画像形成装置４０のうちの１つの画像形成装置４０の設定画面をユーザーに視認させる。
【００１５】
ヘッドマウントディスプレー２０は更に、周辺環境画像を画像解析することにより、周辺環境画像内にユーザーの手が含まれるか否かを判定する。その判定の結果、周辺環境画像内にユーザーの手が含まれる場合には、ヘッドマウントディスプレー２０は、周辺環境画像を画像解析することにより、ユーザーの指の動きを検出する。
【００１６】
本実施形態において、ヘッドマウントディスプレー２０は、各画像形成装置４０との間で無線通信を行うことができる。ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に１つの画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像内の画像形成装置４０に対して設定画面情報を要求する第１要求信号を送信するとともに、第１要求信号の送信先の画像形成装置４０から設定画面情報を受信する。ヘッドマウントディスプレー２０は、受信した設定画面情報に基づいて設定画面を表示する。また、ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像内の複数の画像形成装置４０のうちのいずれか１つに対して第１要求信号を送信する。この結果、周辺環境画像内の複数の画像形成装置４０のうちの１つの画像形成装置４０の設定画面が表示される。
【００１７】
ヘッドマウントディスプレー２０は、ユーザーの視野内（周辺環境画像内）に存在する全ての画像形成装置４０の近傍に、例えばバルーンのようなアイコンを表示させる。更に、ヘッドマウントディスプレー２０は、ユーザーの視野内（周辺環境画像内）に存在する全ての画像形成装置４０に対して使用状況の情報を要求する第２要求信号を送信する。これにより、ヘッドマウントディスプレー２０は、第２要求信号の送信先の画像形成装置４０から使用状況の情報を受信する。そして、ヘッドマウントディスプレー２０は、周辺環境画像内の全ての画像形成装置４０のそれぞれの使用状況に応じて、対応するアイコンを変化させる。本実施形態では、アイコンの色が使用状況に応じた色に設定される。例えば、使用可能な画像形成装置４０に対応するアイコンの色は緑色に設定され、他者が使用中の画像形成装置４０に対応するアイコンの色は黄色に設定され、使用不可能な画像形成装置４０に対応するアイコンの色は赤色に設定される。これにより、ユーザーは、現在使用することが可能な画像形成装置４０を容易に判断することができる。したがって、ユーザーの利便性が向上する。
【００１８】
続いて図２及び図３を参照して、ヘッドマウントディスプレー２０の構成について説明する。図２は、ヘッドマウントディスプレー２０を示す図である。詳しくは、図２は、ユーザーの顔面側（眼球側）から見たヘッドマウントディスプレー２０を示している。換言すると、図２は、ヘッドマウントディスプレー２０の内側を示している。
【００１９】
図２に示すように、本実施形態におけるヘッドマウントディスプレー２０は双眼型である。したがってヘッドマウントディスプレー２０は、ユーザーの左右の目（眼球）の前方にそれぞれ配置される２つのディスプレー２２（表示部）を備えるとともに、２つのディスプレー２２に同じ画像を表示する。ディスプレー２２は、例えば液晶ディスプレーや有機エレクトロルミネッセンス（有機ＥＬ）ディスプレーのような表示素子からなる。
【００２０】
また、ヘッドマウントディスプレー２０は、左右一対の眼球画像取得部２３を備える。左右一対の眼球画像取得部２３は、ユーザーの左右の目（眼球）の画像を取得できるように配置される。眼球画像取得部２３により取得される眼球画像は、ユーザーの視線方向を検出するために用いられる。ヘッドマウントディスプレー２０は、検出した視線方向に基づき、ユーザーが注視している画像形成装置４０を特定する。そして、ヘッドマウントディスプレー２０は、特定された画像形成装置４０の設定画面を表示する。したがって、ユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、周辺環境画像内に存在する複数の画像形成装置４０間でユーザーが注視する画像形成装置４０が切り替わると、表示される設定画面も切り替わる。
【００２１】
本実施形態では、眼球画像取得部２３は、近赤外線ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）２３１、及び赤外線カメラ２３２を有する。赤外線カメラ２３２は、例えばＣＣＤイメージセンサーやＩｎＧａＡｓ／Ｔ２ＳＬ（Ｔｙｐｅ  ＩＩ  Ｓｕｐｅｒ  Ｌａｔｔｉｃｅ）センサーのような撮像素子を含み得る。
【００２２】
眼球画像取得部２３が近赤外線ＬＥＤ２３１と赤外線カメラ２３２とを有する場合、近赤外線ＬＥＤ２３１により近赤外線がユーザーの眼球に照射される。赤外線カメラ２３２は、近赤外線が照射されたユーザーの眼球を撮像する。この結果、眼球画像が取得される。ヘッドマウントディスプレー２０は、眼球画像から角膜反射点と瞳孔とを検知し、それらの位置関係からユーザーの視線方向を検出する。つまり、本実施形態では、角膜反射法によってユーザーの視線方向が検出される。
【００２３】
ヘッドマウントディスプレー２０は、検出した視線方向に基づいて、ディスプレー２２に表示される周辺環境画像内でのユーザーの注視点（ユーザーが注視している位置）を検出する。また、ヘッドマウントディスプレー２０は、周辺環境画像における画像形成装置４０の画像と注視点との位置関係に基づき、注視点が含まれる画像形成装置４０の画像を検出する。これにより、ユーザーが注視している画像形成装置４０が特定される。
【００２４】
更に、ヘッドマウントディスプレー２０は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンの色を特定の色にする。これにより、ユーザーは、現在の設定対象の画像形成装置４０を容易に判別することができる。また、ヘッドマウントディスプレー２０は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンを点滅させる。これにより、ユーザーは、現在の設定対象の画像形成装置４０を容易に判別することができる。
【００２５】
ヘッドマウントディスプレー２０は、注視点が画像形成装置４０から外れている場合、ユーザーの視野内（周辺環境画像内）に存在する使用可能な画像形成装置４０のうち、ヘッドマウントディスプレー２０に最も近い画像形成装置４０の設定画面を、通常の濃さよりも薄く表示させる。その後、表示中の設定画面を所有する画像形成装置４０がユーザーによって注視されると、又は、薄く表示されている設定画面がユーザーによって注視されると、ヘッドマウントディスプレー２０は、設定画面を濃く表示する。
【００２６】
図３はヘッドマウントディスプレー２０の構成を示すブロック図である。図３に示すように、ヘッドマウントディスプレー２０は、環境画像取得部２１、ディスプレー２２、及び眼球画像取得部２３に加えて、表示制御部２４、無線通信インターフェイス（Ｉ／Ｆ）２５、位置検出部２６、向き検出部２７、制御部２８、及び記憶部２９を更に備える。
【００２７】
表示制御部２４は、制御部２８によって制御されて、ディスプレー２２に所定の画像を表示させる。具体的には、表示制御部２４は、環境画像取得部２１により取得された周辺環境画像をディスプレー２２に表示させる。また、表示制御部２４は、画像形成装置４０の設定画面をディスプレー２２に表示させる。更に表示制御部２４は、アイコンをディスプレー２２に表示させる。なお、本実施形態において表示制御部２４は、ディスプレー２２を駆動する駆動回路である。
【００２８】
無線通信インターフェイス２５は、画像形成装置４０との間の無線通信に使用される。無線通信方式は特に限定されず、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信方式が採用され得る。
【００２９】
位置検出部２６は、ヘッドマウントディスプレー２０の現在位置を検出する。換言すると、位置検出部２６は、ヘッドマウントディスプレー２０を装着したユーザーの現在位置を検出する。位置検出部２６は、例えばＧＰＳ機能を有する。
【００３０】
向き検出部２７は、ヘッドマウントディスプレー２０の向きを検出する。換言すると、向き検出部２７は、ヘッドマウントディスプレー２０を装着したユーザーの顔の向きを検出する。向き検出部２７は、例えば電子コンパスを含む。
【００３１】
制御部２８は、記憶部２９に記憶されたプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。制御部２８は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含み得る。
【００３２】
記憶部２９は、プログラムや設定情報を記憶する。また、記憶部２９は、アイコンの画像や、各画像形成装置４０の座標（位置）の情報（マッピング情報）などを記憶する。記憶部２９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が備える磁気ディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）によって構成され得る。
【００３３】
本実施形態において、制御部２８は、記憶部２９に記憶されているプログラムを実行することにより、第１判定部３１、視線方向検出部３２、端末特定部３３、及び第２判定部３４として機能する。
【００３４】
第１判定部３１は、ヘッドマウントディスプレー２０を装着しているユーザーの視野内（周辺環境画像内）に画像形成装置４０（固定端末）が存在するか否かを判定する。本実施形態では、第１判定部３１は、環境画像取得部２１により取得された周辺環境画像を画像解析して、周辺環境画像に画像形成装置４０が含まれるか否かを判定する。例えば、周辺環境画像に画像形成装置４０が含まれるか否かの判定は、マッチング処理によって実行され得る。具体的には、画像解析により、周辺環境画像に含まれる画像形成装置４０の輪郭が抽出される。記憶部２９は、各画像形成装置４０の輪郭を示す基準輪郭データ群を記憶し、制御部２８は、抽出された輪郭と、予め記憶されている基準輪郭データ群との照合（マッチング処理）を行う。この照合により、周辺環境画像に画像形成装置４０が含まれるか否かが判定される。
【００３５】
第１判定部３１により、ユーザーの視野内（周辺環境画像内）に画像形成装置４０が存在すると判定された場合、制御部２８はディスプレー２２にアイコンを表示させる。
【００３６】
本実施形態では、まず、記憶部２９に記憶されている各画像形成装置４０の座標（位置）と、位置検出部２６により検出されたヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、向き検出部２７により検出されたヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）とに基づいて、制御部２８が、ユーザーの視野内（周辺環境画像内）に存在する画像形成装置４０を特定する。
【００３７】
次に、制御部２８は、無線通信インターフェイス２５を介して、特定された画像形成装置４０に対し第２要求信号を送信する。即ち、ヘッドマウントディスプレー２０は、ユーザーの視野内に存在する画像形成装置４０に対して、使用状況の情報の送信を要求する。
【００３８】
そして、無線通信インターフェイス２５が画像形成装置４０から使用状況の情報を受信すると、制御部２８は、アイコンを含む周辺環境画像をディスプレー２２に表示させる。具体的には、画像形成装置４０の近傍に、使用状況に応じた色のアイコンが表示される。
【００３９】
視線方向検出部３２は、眼球画像取得部２３により取得された眼球画像に基づいて、角膜反射法によってユーザーの視線方向を検出する。端末特定部３３は、ユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０（複数の固定端末）が存在する場合に、視線方向検出部３２により検出された視線方向に基づき、ユーザーの視野内に存在する複数の画像形成装置４０のうちの１つを特定する。表示制御部２４は、端末特定部３３により特定された画像形成装置４０の設定画面をディスプレーに表示させる。
【００４０】
具体的には、端末特定部３３は、ユーザーが注視している画像形成装置４０を特定する。即ち、端末特定部３３は、視線方向に基づいて、ディスプレー２２に表示される周辺環境画像内でのユーザーの注視点を検出する。そして、端末特定部３３は、周辺環境画像における画像形成装置４０の画像と注視点との位置関係に基づき、注視点が含まれる画像形成装置４０の画像を検出するための第１検出処理を実行する。この第１検出処理により、ユーザーが注視している画像形成装置４０が特定される。
【００４１】
制御部２８は、端末特定部３３の第１検出処理により特定された画像形成装置４０に対し、無線通信インターフェイス２５を介して第１要求信号を送信する。即ち、第１検出処理により特定された画像形成装置４０に対し、設定画面情報の送信が要求される。制御部２８は、無線通信インターフェイス２５によって受信された設定画面情報に基づき、ディスプレー２２の所定の領域に設定画面を表示させる。
【００４２】
また、ユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、周辺環境画像内に存在する複数の画像形成装置４０間でユーザーが注視する画像形成装置４０が切り替わると、端末特定部３３の第１検出処理により特定される画像形成装置４０も切り替わる。制御部２８は、端末特定部３３の第１検出処理により特定される画像形成装置４０が切り替わるごとに、第１要求信号を送信するための処理を実行する。したがって、ユーザーが注視する画像形成装置４０が切り替わると、表示される設定画面が切り替わる。換言すると、ある画像形成装置４０の設定画面が表示された後は、注視点が他の画像形成装置４０の画像に含まれるようになるまで、表示される設定画面は切り替わらない。
【００４３】
一方、第１検出処理の結果、注視点が含まれる画像形成装置４０の画像を検出できなかった場合、換言すると、ユーザーが画像形成装置４０を注視していない場合（注視点が画像形成装置４０から外れている場合）、端末特定部３３は、ユーザーの視野内（周辺環境画像内）に存在する使用可能な画像形成装置４０のうち、ヘッドマウントディスプレー２０に最も近いという初期条件を満たす画像形成装置４０を検出するための第２検出処理を行う。
【００４４】
具体的には、端末特定部３３は、ユーザーの視野内（周辺環境画像内）に存在する各画像形成装置４０の使用状況と、位置検出部２６により検出されたヘッドマウントディスプレー２０の現在位置と、記憶部２９に記憶されている各画像形成装置４０の座標（位置）とに基づいて、初期条件を満たす画像形成装置４０を検出（特定）する。
【００４５】
制御部２８は、端末特定部３３の第２検出処理により特定された画像形成装置４０に対し、無線通信インターフェイス２５を介して第１要求信号を送信する。即ち、第２検出処理により特定された画像形成装置４０に対し、設定画面情報の送信が要求される。制御部２８は、無線通信インターフェイス２５によって受信された設定画面情報に基づき、ディスプレー２２の所定の領域に設定画面を通常の濃さよりも薄く表示させる。
【００４６】
その後、ユーザーの視線（注視点）が移動して、ある画像形成装置４０の画像に注視点が含まれるようなると、端末特定部３３の第１検出処理により、ユーザーが注視している画像形成装置４０が特定される。したがって、ディスプレー２２に、ユーザーが注視している画像形成装置４０の設定画面が表示される。例えば、初期条件を満たす画像形成装置４０の画像に注視点が含まれるようになると、薄く表示されていた設定画面が通常の濃さで表示される。また、本実施形態では、薄く表示されている設定画面がユーザーによって注視されると、つまり、薄く表示されている設定画面に注視点が含まれるようになると、薄く表示されていた設定画面が通常の濃さで表示される。
【００４７】
また、制御部２８は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンの色を特定の色にする。更に、制御部２８は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンを点滅させる。
【００４８】
第２判定部３４は、環境画像取得部２１により取得された周辺環境画像に基づき、ユーザーの視野内（周辺環境画像）に手（所定のオブジェクト）が存在するか否かを判定する。第２判定部３４により、周辺環境画像に手が存在すると判定されている間、制御部２８は、表示される設定画面の切り替えを制限する。つまり、周辺環境画像に手が存在する間は、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０の画像内に注視点が移動しても、ディスプレー２２に表示される設定画面は切り替わらない。ユーザーの視野内（周辺環境画像内）に手（所定のオブジェクト）が存在するか否かを判定する処理は、例えばマッチング処理によって実行され得る。
【００４９】
このように設定画面の切り替えが制限されることにより、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０をユーザーが一時的に見たとしても、設定画面は切り替わらず、ユーザーは、その後に設定操作を続行することができる。ユーザーが設定操作を完了して、ユーザーの視野内（周辺環境画像内）に手が存在しなくなると、ユーザーの視線方向に応じた設定画面の切り替えが可能となる。なお、手が検知されることにより設定画面の切り替えが制限されている状態において、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０がユーザーによって設定時間以上注視された場合や、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０を選択するための所定の操作がユーザーによって行われた場合に、設定画面を切り替わってもよい。
【００５０】
本実施形態では、更に、第１検出処理又は第２検出処理により特定された画像形成装置４０の設定画面が複数種類存在する場合、表示制御部２４は、それら複数種類の設定画面を、重ねられつつ所定の方向にずらされた状態でディスプレー２２に表示させる。また、表示制御部２４は、複数種類の設定画面のうち最上層（最上位）に位置させる設定画面を、視線方向検出部３２により検出された視線方向に応じて切り替える。
【００５１】
具体的には、制御部２８が、設定画面情報に基づいて、重ねられつつ所定の方向にずらされた状態で表示される複数種類の設定画面の画像を生成する。また、制御部２８が、視線方向検出部３２により検出された視線方向に基づき、注視点が含まれる設定画面を複数種類の設定画面のうちから検出するための第３検出処理を実行する。この第３検出処理の結果、現在最上層に位置している設定画面とは異なる設定画面に注視点が含まれる場合、制御部２８は、注視点が含まれる設定画面が最上層に位置するように、表示される複数種類の設定画面の画像を更新する。なお、第２判定部３４により、ユーザーの視野内（周辺環境画像内）に手が存在すると判定されている間、最上層に位置させる設定画面の切り替えが制限されてもよい。このように設定画面の切り替えが制限されることにより、画像形成装置４０の設定を行っている途中で設定画面が切り替わる不具合の発生を抑制することができる。
【００５２】
続いて図４を参照して、画像形成装置４０の構成について説明する。図４は、画像形成装置４０の構成を示すブロック図である。図４に示すように、画像形成装置４０は、操作パネル４１、ＦＡＸ通信部４２、画像形成部４３、無線通信インターフェイス（Ｉ／Ｆ）４４、制御部４５、及び記憶部４６を備える。
【００５３】
操作パネル４１は、ボタンなどの入力デバイスと、液晶ディスプレーなどの表示デバイスとを含む。ユーザーが操作パネル４１（入力デバイス）を操作することにより、その操作に対応する処理を画像形成装置４０が実行する。ユーザーは操作パネル４１（入力デバイス）を介して、画像形成装置４０に種々の処理を実行させることができる。表示デバイスは、種々の設定画面を表示する。なお、表示デバイスは、タッチパネルであってもよい。この場合、表示デバイスは、入力デバイスとしても機能する。
【００５４】
ＦＡＸ通信部４２は、公衆電話回線に接続されて相手先ファクシミリとの間で通信を行う。
【００５５】
画像形成部４３は、用紙等のシートに画像を形成する。画像形成部４３は、例えば電子写真方式の画像形成部、又はインクジェット方式の画像形成部であり得る。
【００５６】
無線通信インターフェイス４４は、ヘッドマウントディスプレー２０との間の無線通信に使用される。つまり、画像形成装置４０の無線通信インターフェイス４４の無線通信方式は、ヘッドマウントディスプレー２０の無線通信インターフェイス２５と同じである。
【００５７】
制御部４５は、記憶部４６に記憶されたプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。制御部４５は、例えばＣＰＵ又はＭＰＵを含み得る。
【００５８】
記憶部４６は、プログラムや設定情報を記憶する。例えば、記憶部４６は、各種の設定画面の情報を記憶している。記憶部４６は、例えば、ＨＤＤが備える磁気ディスク、ＲＡＭ及びＲＯＭによって構成され得る。
【００５９】
本実施形態の画像形成装置４０が備える制御部４５は、無線通信インターフェイス４４がヘッドマウントディスプレー２０から第１要求信号を受信すると、記憶部４６に記憶されている設定画面の情報を、無線通信インターフェイス４４を介してヘッドマウントディスプレー２０へ送信する。また、画像形成装置４０の制御部４５は、無線通信インターフェイス４４がヘッドマウントディスプレー２０から第２要求信号を受信すると、画像形成装置４０の使用状況の情報を、無線通信インターフェイス４４を介してヘッドマウントディスプレー２０へ送信する。
【００６０】
続いて図５〜図１０を参照して、表示システム１０において表示される画像（ディスプレー２２に表示される画像）について説明する。図５〜図１０はそれぞれ、表示システム１０において表示される画像を示す図である。詳しくは、図５〜図９は、ユーザーの視野内（周辺環境画像内）に２つの画像形成装置４０（第１画像形成装置４０ａ及び第２画像形成装置４０ｂ）が存在する場合に表示される設定画面を示している。なお、図６〜図１０において、視線方向は矢印によって示される。また、視線方向を示す矢印の先端が指す位置が、ユーザーの注視点である。
【００６１】
図５に示すように、ユーザーの視野内（周辺環境画像内）に第１画像形成装置４０ａ及び第２画像形成装置４０ｂが存在する場合、第１画像形成装置４０ａの近傍に「アイコン１」が表示され、第２画像形成装置４０ｂの近傍に「アイコン２」が表示される。詳しくは、本実施形態では、第１画像形成装置４０ａの直上に「アイコン１」が表示され、第２画像形成装置４０ｂの直上に「アイコン２」が表示される。
【００６２】
ユーザーが第１画像形成装置４０ａ及び第２画像形成装置４０ｂのいずれも注視していない場合、図５に示すように、初期条件を満たす画像形成装置４０の設定画面が所定の位置（本実施形態では、ディスプレー２２の左側の端部）に表示される。つまり、ユーザーの視野内（周辺環境画像内）に存在する使用可能な画像形成装置４０のうち、ヘッドマウントディスプレー２０に最も近い画像形成装置４０の設定画面が表示される。図５では、第１画像形成装置４０ａの「設定画面１」が表示されている。また、このとき、第１画像形成装置４０ａの「設定画面１」は、通常の濃さよりも薄く表示される。図５では、設定画面１が薄く表示されていることを破線で示している。
【００６３】
その後、図６に示すように、ユーザーが第１画像形成装置４０ａを注視すると、「設定画面１」が通常の濃さで表示される。また、図７に示すように、ユーザーが第２画像形成装置４０ｂを注視すると、第２画像形成装置４０ｂの「設定画面２」が通常の濃さ表示される。なお、図６〜図９では、設定画面が通常の濃さで表示されていることを実線で示している。
【００６４】
図８に示すように、第１画像形成装置４０ａの設定を変更するために、ディスプレー２２に表示されている設定画面１に対してユーザーが指を動かす際には、ユーザーの視野内（周辺環境画像内）に手６１が存在する。したがって、設定画面１から他の設定画面への切り替えが制限される。具体的には、図９に示すように、ユーザーが第２画像形成装置４０ｂを注視しても、ディスプレー２２には設定画面１が表示され続け、第２画像形成装置４０ｂの設定画面２は表示されない。
【００６５】
また、図１０に示すように、設定画面が複数種類存在する場合、それら複数種類の設定画面は、重ねられつつ所定の方向にずらされた状態でディスプレー２２に表示される。例えば図１０に示すように、複数種類の設定画面は、各設定画面の種類を示すタブ部（「Ｃｏｐｙ」、「Ｓｅｎｄ」、「Ｂｏｘ」、「ＦＡＸ」の各語句が表示される部分）をユーザーが視認できるように表示される。図１０には、Ｃｏｐｙ機能の設定画面と、Ｓｅｎｄ機能の設定画面と、Ｂｏｘ機能の設定画面と、ＦＡＸ機能の設定画面が例示されている。なお、Ｓｅｎｄ機能は、画像形成装置４０に蓄積されている画像データを、他の画像形成装置や外部ＰＣ（パーソナルコンピューター）等へ送る機能である。また、Ｂｏｘ機能は、ユーザーごとに画像データを蓄積する機能である。
【００６６】
図１０（ａ）に示すように、現在最上層に位置しているＣｏｐｙ設定画面とは異なる設定画面（Ｓｅｎｄ設定画面）がユーザーによって注視されると、図１０（ｂ）に示すように、最上層に位置する設定画面がＣｏｐｙ設定画面からＳｅｎｄ設定画面に切り替わる。また、図１０（ｂ）に示すように、現在最上層に位置しているＳｅｎｄ設定画面とは異なる設定画面（Ｂｏｘ設定画面）がユーザーによって注視されると、図１０（ｃ）に示すように、最上層に位置する設定画面がＳｅｎｄ設定画面からＢｏｘ設定画面に切り替わる。
【００６７】
続いて図１〜図４、及び図１１を参照して、本実施形態に係る表示システム１０の動作を説明する。図１１は、表示システム１０の動作を示すフローチャートである。ヘッドマウントディスプレー２０の電源がＯＮに設定されると、ユーザーの視野情報として、環境画像取得部２１により取得された周辺環境画像がヘッドマウントディスプレー２０のディスプレー２２に表示（反映）される（ステップＳ１）。
【００６８】
次に、表示システム１０によって設定操作が可能な画像形成装置４０（端末）がユーザーの視野内（周辺環境画像内）に存在するか否かの判定が、ヘッドマウントディスプレー２０の制御部２８に含まれる第１判定部３１によって実行される（ステップＳ２）。その結果、画像形成装置４０がユーザーの視野内に存在しないと第１判定部３１が判定した場合（ステップＳ２のＮｏ）、処理はステップＳ３に移行し、ヘッドマウントディスプレー２０のディスプレー２２に表示される視野情報（周辺環境画像）が更新されて（ステップＳ３）、処理はステップＳ２に戻る。その後、画像形成装置４０がユーザーの視野内に入るまで、ステップＳ２及びステップＳ３の各処理が繰り返される。
【００６９】
画像形成装置４０がユーザーの視野内（周辺環境画像内）に存在すると第１判定部３１が判定すると（ステップＳ２のＹｅｓ）、処理はステップＳ４に移行する。
【００７０】
ステップＳ４では、ユーザーの視野内（周辺環境画像内）に存在する画像形成装置４０の近傍にアイコンが表示される。次に、ヘッドマウントディスプレー２０の制御部２８に含まれる視線方向検出部３２によりユーザーの視線方向が検出される。そして、ヘッドマウントディスプレー２０の制御部２８に含まれる端末特定部３３が、視線方向検出部３２により検出された視線方向に基づき、第１検出処理を実行する。即ち、ユーザーが注視している画像形成装置４０を検出するための処理が実行される（ステップＳ５）。その結果、ユーザーが注視している画像形成装置４０が検出されない場合（ステップＳ５のＮｏ）、処理はステップＳ３へ戻る。一方、ユーザーが注視している画像形成装置４０が検出された場合（ステップＳ５のＹｅｓ）、処理はステップＳ６へ移行する。
【００７１】
ステップＳ６では、ユーザーが注視している画像形成装置４０に対応するアイコンが点滅状態で表示されるようになる。また、ユーザーが注視している画像形成装置４０の設定画面が表示される。
【００７２】
次に、ヘッドマウントディスプレー２０の制御部２８に含まれる第２判定部３４が、ユーザーの視野内（周辺環境画像内）に手が存在するか否かの判定を行う（ステップＳ７）。そして、ユーザーの視野内に手が存在しないと第２判定部３４が判定した場合（ステップＳ７のＮｏ）、処理はステップＳ３に戻る。一方、ユーザーの視野内（周辺環境画像内）に手が存在すると第２判定部３４が判定した場合（ステップＳ７のＹｅｓ）、ヘッドマウントディスプレー２０の制御部２８の状態が、設定画面の切り替えが制限される状態に遷移する（ステップＳ８）。
【００７３】
次に、ヘッドマウントディスプレー２０の制御部２８に含まれる第２判定部３４が、ユーザーの視野内（周辺環境画像内）に手が存在するか否かの判定を行う（ステップＳ９）。そして、ユーザーの視野内に手が存在しないと第２判定部３４が判定した場合（ステップＳ９のＮｏ）、処理はステップＳ３に戻る。一方、ユーザーの視野内に手が存在すると第２判定部３４が判定した場合（ステップＳ９のＹｅｓ）、ヘッドマウントディスプレー２０の制御部２８は、ユーザーによる画像形成装置４０の設定操作が完了したか否かの判定を行う（ステップＳ１０）。例えば、ヘッドマウントディスプレー２０の制御部２８は、設定画面内の「ＯＫ」ボタンが操作されたか否かにより、ユーザーによる画像形成装置４０の設定操作が完了したか否かを検出する。そして、ユーザーによる画像形成装置４０の設定操作が完了していないと制御部２８が判定した場合（ステップＳ１０のＮｏ）、処理はステップＳ９に戻る。一方、ユーザーによる画像形成装置４０の設定操作が完了したと制御部２８が判定した場合（ステップＳ１０のＹｅｓ）、処理は終了する。
【００７４】
以上、図面を参照しながら本発明の実施形態について説明した。本発明の実施形態によれば、ユーザーの視野内に存在する複数の画像形成装置４０のうち、ユーザーが注視した画像形成装置４０の設定画面のみが表示される。したがって、複数の画像形成装置４０（複数の端末）の設定画面を切り替えて表示することができる。よって、複数の画像形成装置４０（複数の端末）を設定の対象とすることができ、ユーザーの利便性を高めることができる。
【００７５】
また、ユーザーの注視によって選択された画像形成装置４０が複数種類の設定画面を有する場合には、それら複数種類の設定画面が、重ねられつつ所定の方向にずらされた状態で表示される。そして、ユーザーの視線方向（注視点）に応じて、ユーザーが操作する対象となる設定画面の種類を変更することができる。したがって、ユーザーの利便性を高めることができる。
【００７６】
また、ユーザーの視野内（周辺環境画像内）で手（所定のオブジェクト）が検知されると、設定画面の切り替えが制限される。これによりユーザーは、設定操作中に自身の視点を気にすることなく設定の操作を行うことができる。また、ユーザーの視野の外（環境画像取得部２１の撮像範囲の外）へ手が外れることにより、設定画面の切り替えの制限が解除される。よって、他の画像形成装置４０（端末）の設定画面を容易に表示させることができる。したがって、ユーザーの利便性を高めることができる。具体的には、ユーザーは、自身の視野内（周辺環境画像内）に存在する複数の画像形成装置４０（複数の端末）のそれぞれの設定操作を連続して行うことができる。
【００７７】
なお、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。
【００７８】
例えば、本発明の実施形態では、設定対象の端末が画像形成装置である場合について説明したが、本発明はこれに限定されない。本発明は、設定画面を有する様々な端末に適用することができる。例えば、本発明は、パーソナルコンピューターのような電子機器に適用することができる。
【００７９】
また、本発明の実施形態では、左右一対のディスプレー２２が同一の画像を表示する場合について説明したが、本発明はこれに限定されない。左右一対のディスプレー２２により、３次元画像（３Ｄ画像）が表示されてもよい。つまり、ユーザーが立体的に画像を視認できるように、左右一対のディスプレー２２において撮像角度をずらした一対の画像を表示させてもよい。これにより、複数種類の設定画面を表示する際に、複数種類の設定画面を深さ方向にずらして表示することが可能となる。この場合、ヘッドマウントディスプレー２０の制御部２８は、ユーザーの視線方向に基づいて、ユーザーの注視点の３次元座標を検出するとともに、注視点の３次元座標と、３次元画像内での各設定画面の３次元座標とを比較することにより、ユーザーが注視している設定画面を特定することができる。
【００８０】
また、本発明の実施形態では、ユーザーの指の動きに応じた信号により画像形成装置４０の設定が更新されたが、本発明はこれに限定されない。例えば、ユーザーの指に替えて、所定の形状を有する操作部材（例えば、所定の形状を有するペン）の動きに応じた信号が生成されることにより、画像形成装置４０の設定が更新されてもよい。
【００８１】
また、本発明の実施形態では、検出されたユーザーの視線方向に基づき、ユーザーが注視している画像形成装置４０が特定されたが、本発明はこれに限定されない。例えば、ユーザーの視線方向に基づき、ユーザーが注視しているアイコンを検出することにより、ユーザーが注視しているアイコンに対応する画像形成装置４０の設定画面を表示してもよい。
【００８２】
また、本発明の実施形態では、周辺環境画像に画像形成装置４０が含まれるか否かの判定がマッチング処理によって実行される場合について説明したが、本発明はこれに限定されない。周辺環境画像に画像形成装置４０が含まれるか否かは、各画像形成装置４０の座標（位置）と、ヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、ヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）とに基づいて判定されてもよい。
【００８３】
また、本発明の実施形態では、ユーザーの視野内（周辺環境画像内）に存在する画像形成装置４０が、各画像形成装置４０の座標（位置）と、ヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、ヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）とに基づいて特定される場合について説明したが、本発明はこれに限定されない。例えば、ユーザーの視野内に存在する画像形成装置４０は、マッチング処理によって特定されてもよい。又は、各画像形成装置４０にそれぞれ固有のマーカーを付し、周辺環境画像を画像解析してマーカーを特定することにより、ユーザーの視野内に存在する画像形成装置４０を特定してもよい。
【００８４】
また、本発明の実施形態では、ユーザーの視野内に手が検知された場合に、設定画面の切り替え、及び、最上層に位置させる設定画面の切り替えが制限される場合について説明したが、本発明はこれに限定されない。例えば、ユーザーの手に替えて、所定の形状を有する操作部材（例えば、所定の形状を有するペン）が検知された場合に、設定画面の切り替え、及び、最上層に位置させる設定画面の切り替えが制限されてもよい。
【００８５】
また、本発明の実施形態では、ビデオ透過式のヘッドマウントディスプレー２０を用いた場合について説明したが、本発明はこれに限定されない。本発明は、光学透過式のヘッドマウントディスプレーにも適用することができる。光学透過式のヘッドマウントディスプレーは、外界（ユーザーの周辺環境）を直接ユーザーに視認させる。この場合、ヘッドマウントディスプレーは、ハーフミラーのような光学結合素子又はユーザーの網膜に設定画面及びアイコンを投影（結像）してもよいし、液晶ディスプレーのような光を透過する表示素子に設定画面及びアイコンを表示させてもよい。また、光学透過式のヘッドマウントディスプレーを用いる場合、ユーザーの注視点の３次元座標と、各画像形成装置４０の３次元座標とを比較することにより、ユーザーが注視している画像形成装置４０を特定することができる。注視点の３次元座標は、ヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、ヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）と、視線方向とに基づいて算出し得る。
【００８６】
また、本発明の実施形態では、双眼型のヘッドマウントディスプレー２０を用いた場合について説明したが、本発明はこれに限定されない。本発明は、単眼型、及び両眼型のヘッドマウントディスプレーに適用し得る。単眼型は、左右の目のうちの一方に対して計算機画像を視認させる方式であり、両眼型は、左右の目にそれぞれ異なる計算機画像を視認させる方式である。両眼型によれば、３次元画像（３Ｄ画像）をユーザーに視認させることも可能となる。
【００８７】
例えば、ビデオ透過式のヘッドマウントディスプレーを用いて３次元画像を表示することにより、ユーザーは、違和感を感じることなく周辺環境を視認することができる。また、光学透過式のヘッドマウントディスプレーを用いて、ユーザーが直接視認している画像形成装置の上方に実際にアイコンが存在しているかの如く、アイコンの立体画像を表示させることが可能となる。ビデオ透過式のヘッドマウントディスプレーを用いて３次元画像を表示する場合は、ユーザーの注視点の３次元座標と、３次元画像内での各画像形成装置４０の３次元座標とを比較することにより、ユーザーが注視している画像形成装置４０を特定することができる。また、光学透過式のヘッドマウントディスプレーを用いてアイコンの立体画像を表示させる場合は、ユーザーの注視点の３次元座標と、３次元画像内でのアイコンの３次元座標とを比較することにより、ユーザーが注視しているアイコンに対応する画像形成装置４０を特定することができる。
【００８８】
また、本発明の実施形態では、角膜反射法によってユーザーの視線方向が検出されたが、本発明はこれに限定されない。例えば、可視光を撮像するカメラにより眼球画像を取得して、眼球画像を解析し、目頭に対する虹彩の位置に基づいて視線方向を検出してもよい。
【産業上の利用可能性】
【００８９】
本発明は、端末の設定画面を遠隔操作し得るシステムに有用である。
【符号の説明】
【００９０】
１０      表示システム
２０      ヘッドマウントディスプレー
４０、４０ａ、４０ｂ      画像形成装置
３２      視線方向検出部
３３      端末特定部
２４      表示制御部
【図１】
0006507827.tif 000002
【図２】
0006507827.tif 000003
【図３】
0006507827.tif 000004
【図４】
0006507827.tif 000005
【図５】
0006507827.tif 000006
【図６】
0006507827.tif 000007
【図７】
0006507827.tif 000008
【図８】
0006507827.tif 000009
【図９】
0006507827.tif 000010
【図１０】
0006507827.tif 000011
【図１１】
0006507827.tif 000012