(57)【要約】【課題】視線入力による操作を補助することによってコンピューターの取扱性・操作性を向上させる。【解決手段】プログラム２２ｂは、表示処理装置１０のコンピューターを、視線方向検出部２７によって特定された位置が画面内のアイコン７１の位置か否かを判別する位置判別手段、位置判別手段によって否でない旨の判別が行われた場合にアイコン７１の選択を行う選択手段、コンピューターと無線通信可能な入力処理装置５０から操作内容を受信する受信手段、視線方向検出部２７によって特定された位置と、受信手段によって受信した操作内容に基づいてコンピューターを制御する処理手段として機能させる。【選択図】図２
2015133088.tif 000002
【特許請求の範囲】
【請求項１】
表示処理装置及び入力処理装置を備えたＧＵＩシステムにおいて、
前記表示処理装置が、
表示部と、
アイコンを含む画面を前記表示部に表示させる第一処理部と、
ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出部と、
を備え、
前記入力処理装置が、
タッチパネルと、
前記第一処理部と通信可能であり、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定する第二処理部と、
前記第二処理部によって特定された前記タッチパネルに対する操作を前記第一処理部に送信する操作送信手段と、
を備え、
前記第一処理部は、
前記視線方向検出手段によって特定された位置と、前記操作送信手段によって送信された前記タッチパネルに対する操作に基づいて当該表示処理装置の制御を行うことを特徴とするＧＵＩシステム。
【請求項２】
前記第一処理部は、
前記視線方向検出部によって特定された位置が前記画面内の前記アイコンの位置か否かを判別する位置判別手段と、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの選択を行う選択手段と、
前記操作送信手段によって送信され前記タッチパネルに対する操作に基づいて、前記選択手段によって選択された前記アイコンの選択の決定を行う決定手段と、
を更に有することを特徴とする請求項１記載のＧＵＩシステム。
【請求項３】
前記第一処理部が、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの表示態様を変更する表示態様変更手段
を有する
ことを特徴とする請求項２に記載のＧＵＩシステム。
【請求項４】
前記第一処理部は、
前記送信手段によって送信された前記タッチパネルに対する操作に基づいて、前記選択手段によって選択された前記アイコンを前記画面内で移動させる移動手段を更に有することを特徴とする請求項１乃至３の何れかに記載のＧＵＩシステム。
【請求項５】
前記第一処理部は、
前記視線方向検出部によって特定された位置が前記画面内の中央領域の外側の領域であるか否かを判別する第一判別手段と、
前記第一判別手段によって否でない旨の判別が行われた場合であって、且つ前記操作送信手段によって送信された前記タッチパネルに対する操作を受信した場合に、前記視線方向検出部によって特定された位置が前記画面内の前記中央領域から外れた方向へ前記画面をスクロールするスクロール手段と、
を更に有することを特徴とする請求項１乃至４の何れかに記載のＧＵＩシステム。
【請求項６】
前記第一処理部は、
前記視線方向検出部によって特定された位置が前記画面内の特定箇所であるか否かを判別する第二判別手段と、
前記第二判別手段によって否でない旨の判別が行われた場合であって、且つ前記送信手段によって送信された前記接触コマンドを受信した場合に、前記特定箇所に対応付けられた情報を前記画面に表示する特定情報表示手段と、
を有することを特徴とする請求項１乃至５の何れかに記載のＧＵＩシステム。
【請求項７】
前記第二処理部は、
前記タッチパネルに対して行われる前記表示処理装置への操作を特定する入力モードと、それ以外のモードとを切り替える切替手段を更に有し、
前記入力モード時に前記タッチパネルに対する操作が行われた場合に、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定することを特徴とする請求項１乃至６の何れかに記載のＧＵＩシステム。
【請求項８】
表示部と、
アイコンを含む画面を表示部に表示させる処理手段と、
ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出手段と、
前記第一処理部と無線通信可能な入力処理装置から操作内容を受信する受信手段と、
を備え、
前記処理手段は、
前記視線方向検出手段によって特定された位置と、前記受信手段によって受信した操作内容に基づいて当該表示処理装置の制御を行うことを特徴とする表示処理装置。
【請求項９】
前記処理手段は、
前記視線方向検出手段によって特定された位置が前記画面内の前記アイコンの位置か否かを判別する位置判別手段と、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの選択を行う選択手段と、
前記操作送信手段によって送信され前記タッチパネルに対する操作に基づいて、前記選択手段によって選択された前記アイコンの選択の決定を行う決定手段と、
を更に備えたことを特徴とする請求項８記載の表示処理装置。
【請求項１０】
前記処理手段は、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの表示態様を変更する表示態様変更手段
を有する
ことを特徴とする請求項９に記載の表示処理装置。
【請求項１１】
前記処理手段は、
前記受信手段によって受信した操作内容に基づいて、前記選択手段によって選択された前記アイコンを前記画面内で移動させる移動手段を更に備えることを特徴とする請求項８乃至１０の何れかに記載の表示処理装置。
【請求項１２】
前記処理手段は、
前記視線方向検出部によって特定された位置が前記画面内の中央領域の外側の領域であるか否かを判別する第一判別手段と、
前記第一判別手段によって否でない旨の判別が行われた場合であって、且つ前記操作送信手段によって送信された前記タッチパネルに対する操作を受信した場合に、前記視線方向検出部によって特定された位置が前記画面内の前記中央領域から外れた方向へ前記画面をスクロールするスクロール手段と、
を更に備えることを特徴とする請求項８乃至１１の何れかに記載の表示処理装置。
【請求項１３】
前記処理手段は、
前記視線方向検出部によって特定された位置が前記画面内の特定箇所であるか否かを判別する第二判別手段と、
前記第二判別手段によって否でない旨の判別が行われた場合であって、且つ前記送信手段によって送信された前記接触コマンドを受信した場合に、前記特定箇所に対応付けられた情報を前記画面に表示する特定情報表示手段と、
を有することを特徴とする請求項８乃至１２の何れかに記載の表示処理装置。
【請求項１４】
タッチパネルと、
表示処理装置と無線通信によって接続する接続手段と、
前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定する特定手段と、
前記特定手段によって特定された前記タッチパネルに対する操作を前記接続手段によって接続された表示処理装置に送信する操作送信手段と、
前記タッチパネルに対して行われる前記表示処理装置への操作を特定する入力モードと、それ以外のモードとを切り替える切替手段と、
を備え、
前記特定手段は、前記入力モード時に前記タッチパネルに対する操作が行われた場合に、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定することを特徴とする入力処理装置。
【請求項１５】
表示部と、アイコンを含む画面を前記表示部に表示させるコンピューターと、ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出部と、を備える表示処理装置の前記コンピューターを、
前記視線方向検出部によって特定された位置が前記画面内の前記アイコンの位置か否かを判別する位置判別手段、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの選択を行う選択手段、
前記コンピューターと無線通信可能な入力処理装置から操作内容を受信する受信手段、
前記視線方向検出部によって特定された位置と、前記受信手段によって受信した操作内容に基づいて当該コンピューターを制御する処理手段
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＧＵＩシステム、表示処理装置、入力処理装置、及びプログラムに関する。
【背景技術】
【０００２】
ユーザーの身体に装着可能なウェアラブルコンピューターが開発されている。特にヘッドマウントディスプレイをウェアラブルコンピューターに適用すれば、コンピューターグラフィック画面が虚像としてユーザーの眼前に形成されるので、眼鏡のようにしてユーザーの頭部に装着可能なウェアラブルコンピューターが提供される。
【０００３】
また、特許文献１，２には、視線入力により操作することができるヘッドマウント型のウェアラブルコンピューターが開示されている。特許文献１，２に記載されているように、このようなヘッドマウント型のウェアラブルコンピューターには視線方向検出装置が設けられており、その視線方向検出装置がポインティングデバイスとして利用される。つまり、視線方向検出装置により視線方向を検出することによって、コンピューター画面と視線の交差する位置を特定し、コンピューター画面内のアイコン等が視線に重なった場合にそのアイコンが選択される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１８０２０８号公報
【特許文献２】特開２０１０−１９９７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、視線入力による操作だけでは、取扱性・操作性が良くなかった。
そこで、本発明が解決しようとする課題は、視線入力による操作を補助することによってコンピューターの取扱性・操作性を向上させることである。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明に係るＧＵＩシステムは、表示処理装置及び入力処理装置を備えたＧＵＩシステムにおいて、前記表示処理装置が、表示部と、アイコンを含む画面を前記表示部に表示させる第一処理部と、ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出部と、を備え、前記入力処理装置が、タッチパネルと、前記第一処理部と通信可能であり、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定する第二処理部と、前記第二処理部によって特定された前記タッチパネルに対する操作を前記第一処理部に送信する操作送信手段と、を備え、前記第一処理部は、前記視線方向検出手段によって特定された位置と、前記操作送信手段によって送信された前記タッチパネルに対する操作に基づいて当該表示処理装置の制御を行うことを特徴とする。
【０００７】
本発明に係る表示処理装置は、表示部と、アイコンを含む画面を表示部に表示させる処理手段と、ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出手段と、前記第一処理部と無線通信可能な入力処理装置から操作内容を受信する受信手段と、を備え、前記処理手段は、前記視線方向検出手段によって特定された位置と、前記受信手段によって受信した操作内容に基づいて当該表示処理装置の制御を行うことを特徴とする。
【０００８】
本発明に係る入力処理装置は、タッチパネルと、表示処理装置と無線通信によって接続する接続手段と、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定する特定手段と、前記特定手段によって特定された前記タッチパネルに対する操作を前記接続手段によって接続された表示処理装置に送信する操作送信手段と、前記タッチパネルに対して行われる前記表示処理装置への操作を特定する入力モードと、それ以外のモードとを切り替える切替手段と、を備え、前記特定手段は、前記入力モード時に前記タッチパネルに対する操作が行われた場合に、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定することを特徴とする。
【０００９】
本発明に係るプログラムは、表示部と、アイコンを含む画面を前記表示部に表示させるコンピューターと、ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出部と、を備える表示処理装置の前記コンピューターを、前記視線方向検出部によって特定された位置が前記画面内の前記アイコンの位置か否かを判別する位置判別手段、前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの選択を行う選択手段、前記コンピューターと無線通信可能な入力処理装置から操作内容を受信する受信手段、前記視線方向検出部によって特定された位置と、前記受信手段によって受信した操作内容に基づいて当該コンピューターを制御する処理手段として機能させる。
【発明の効果】
【００１０】
本発明によれば、視線方向検出部による視線入力が入力処理装置への操作によって補助されて、ＧＵＩ画面内の操作性・取扱性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るＧＵＩシステムの使用状態を示す図面である。
【図２】同ＧＵＩシステムのブロック図である。
【図３】同ＧＵＩシステムに備わる表示処理装置の表示部に表示されるＧＵＩ画面の一例を示す図である。
【図４】同表示処理装置の表示部に表示されるＧＵＩ画面の一例を示す図である。
【図５】同表示処理装置の処理部によって行われる処理の流れを示したチャートである。
【図６】同表示処理装置の処理部によって行われる処理の流れを示したチャートである。
【図７】同表示処理装置の表示部に表示されるＧＵＩ画面の一例を示す図である。
【図８】同表示処理装置の表示部に表示されるＧＵＩ画面の一例を示す図である。
【図９】同表示処理装置の視線方向検出部により検出された視線方向が画面内のどこに向くか判定するための基準を示した図である。
【図１０】同表示処理装置の表示部に表示されるＧＵＩ画面の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されている。そのため、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
【００１３】
図１は、グラフィカルユーザーインターフェースシステム（以下、ＧＵＩシステム）１の使用状態を示した図である。このＧＵＩシステム１は表示処理装置１０及び入力処理装置５０を備える。
【００１４】
表示処理装置１０は所謂ウェアラブルコンピューターシステムであり、特に頭部装着型コンピューターシステム（ヘッドマウントディスプレイ）である。より具体的には、この表示処理装置１０は眼鏡のようにして頭部に装着することができる。つまり、表示処理装置１０がユーザー（装着者）９９の頭部に装着可能な眼鏡フレーム（頭部装着部）を有し、その眼鏡フレームがブリッジ１１、左右一対のリム１２及び左右一対のテンプル１３等から構成されている。左右のリム１２がブリッジ１１によって繋がれており、テンプル１３がヒンジによってリム１２の端部にそれぞれ連結され、イヤーパッドがテンプル１３にそれぞれ設けられ、左右一対のノーズパッドがブリッジ１１に設けられている。度有り又は度無しのレンズ１４がリム１２にそれぞれ取り付けられている。
【００１５】
表示処理装置１０は本体部１５及び光学素子１６を備える。本体部１５がテンプル１３の下に取り付けられ、光学素子１６が本体部１５の前端に設けられ、この光学素子１６がレンズ１４の前に配置されている。光学素子１６は例えばホログラフィック光学素子である。ユーザー９９の前の外界の像の光が光学素子１６を通過してユーザー９９の瞳へ到達するとともに、本体部１５によって生成された映像の光が光学素子１６によってユーザー９９の瞳へ導かれる（回折反射される）。そのため、外界像の光と映像の光が重畳され、外界像及び映像が合成されてユーザー９９の瞳に映る。
【００１６】
入力処理装置５０は携帯型コンピューターシステムであり、特にウェアラブルコンピューターシステムである。より具体的には、入力処理装置５０は多機能・高機能ウォッチ（所謂スマートウォッチ）であり、この入力処理装置５０を腕時計のようにして腕に装着することができる。つまり、入力処理装置５０がリストバンド５１及び本体部５２を有し、リストバンド５１が本体部５２に取り付けられ、そのリストバンド５１を腕に嵌めることができる。なお、入力処理装置５０が多機能・高機能携帯電話機（所謂スマートフォン）であってもよい。
【００１７】
表示処理装置１０の本体部１５の内部には、電子回路基板等が設けられている。入力処理装置５０の本体部５２の内部についても同様である。
入力処理装置５０の本体部５２が無線通信によって表示処理装置１０の本体部１５に接続され、入力処理装置５０の本体部５２を操作することによって表示処理装置１０の本体部１５を遠隔操作することができる。入力処理装置５０の本体部５２と表示処理装置１０の本体部１５の無線通信規格はBluetooth（登録商標）の規格であるが、他の規格又は方式であってもよい。
【００１８】
図２は表示処理装置１０及び入力処理装置５０のブロック図である。
表示処理装置１０は処理ユニット（第一処理部）２１、データストレージ（補助記憶部）２２、トランシーバーユニット（携帯無線ユニット）２３、無線ＬＡＮユニット２４、無線通信ユニット（近距離無線ユニット）２５、投影型ディスプレイユニット（表示部）２６、視線方向検出ユニット（視線方向検出部）２７、ＲＡＭ（主記憶部）２８、システムバス２９及び光学系３０等を備える。処理ユニット２１、データストレージ２２、トランシーバーユニット２３、無線ＬＡＮユニット２４、無線通信ユニット２５、投影型ディスプレイユニット２６、視線方向検出ユニット２７、ＲＡＭ２８及びシステムバス２９は、本体部１５の内部の電子回路基板に設けられている。光学素子１６（図１参照）は光学系３０の構成要素であり、そのほかに投影レンズ及び撮影レンズ等も光学系３０の構成要素となっている。投影レンズは投影型ディスプレイユニット２６に利用され、撮影レンズは視線方向検出ユニットに利用される。
【００１９】
表示処理装置１０のコンピューターは主に処理ユニット２１、データストレージ２２、ＲＡＭ２８及びシステムバス２９からなる。そのコンピューターの周辺機器としてトランシーバーユニット２３、無線ＬＡＮユニット２４、無線通信ユニット２５、投影型ディスプレイユニット２６及び視線方向検出ユニット２７がある。そのコンピューター及びその周辺機器は本体部１５に内蔵されている。
【００２０】
表示処理装置１０のコンピューターには、そのコンピューター及びその周辺機器の操作及び管理をするためのオペレーティングシステム（以下、ＯＳという）がインストールされている。
【００２１】
入力処理装置５０は処理ユニット（第二処理部）６１、データストレージ（補助記憶部）６２、無線通信ユニット（近距離通信ユニット）６３、表示器６４、タッチパネル６５、ＲＡＭ（補助記憶部）６６、計時回路６７及びシステムバス６８等を備える。処理ユニット６１、データストレージ６２、無線通信ユニット６３、表示器６４、タッチパネル６５、ＲＡＭ６６、計時回路６７及びシステムバス６８は本体部５２の内部の電子回路基板に設けられている。
【００２２】
入力処理装置５０のコンピューターは主に処理ユニット６１、ＲＡＭ６６、データストレージ６２及びシステムバス６８からなる。そのコンピューターの周辺機器として無線通信ユニット６３、表示器６４、タッチパネル６５及び計時回路６７がある。そのコンピューター及びその周辺機器は本体部５２に内蔵されている。特に、タッチパネル６５が表示器６４に重ねられており、そのタッチパネル６５が本体部５２の前面５２ａ（図１参照）に設けられている。
【００２３】
入力処理装置５０のコンピューターには、そのコンピューター及びその周辺機器の操作及び管理をするためのＯＳ（ファームウェア）がインストールされている。
【００２４】
続いて、表示処理装置１０の各部について詳細に説明する。
システムバス２９は、処理ユニット２１、データストレージ２２、トランシーバーユニット２３、無線ＬＡＮユニット２４、無線通信ユニット２５、投影型ディスプレイユニット２６、視線方向検出ユニット２７及びＲＡＭ２８の間でデータ転送を行うものである。
処理ユニット２１はＣＰＵ、ＧＰＵ及びキャッシュメモリ等から構成されている。
ＲＡＭ２８は処理ユニット２１の作業領域となるメモリであり、処理ユニット２１によって処理が行われる際に生成されるデータがＲＡＭ２８に一時的に記録される。
データストレージ２２は不揮発性半導体メモリ又は小型磁気記憶装置である。
【００２５】
トランシーバーユニット２３は、携帯電話の通信基地局とデータ通信を行うものである。つまり、トランシーバーユニット２３は、処理ユニット２１によって転送されたデータの各種処理を行って、処理後のデータを携帯電話の通信基地局に送信する。また、トランシーバーユニット２３は、通信基地局から通信データを受信し、その通信データの各種処理を行って、その通信データを処理ユニット２１、ＲＡＭ２８、データストレージ２２等に転送する。
【００２６】
無線ＬＡＮユニット２４は、親機又は子機と無線ＬＡＮ（ＩＥＥＥ８０２．１１）によるデータ通信を行うものである。つまり、無線ＬＡＮユニット２４は、処理ユニット２１によって転送されたデータの各種処理を行って、処理後のデータを親機又は子機に送信する。また、無線ＬＡＮユニット２４は、親機又は子機から通信データを受信し、その通信データの各種処理を行って、その通信データを処理ユニット２１、ＲＡＭ２８、データストレージ２２等に転送する。
【００２７】
無線通信ユニット２５は、Bluetoothの規格に基づいてデータ通信を行うものである。つまり、無線通信ユニット２５は、処理ユニット２１によって転送されたデータの各種処理を行って、処理後のデータを入力処理装置５０の無線通信ユニット６３に送信する。また、無線通信ユニット２５は、入力処理装置５０の無線通信ユニット６３から通信データを受信し、その通信データの各種処理を行って、その通信データを処理ユニット２１、ＲＡＭ２８、データストレージ２２等に転送する。
【００２８】
投影型ディスプレイユニット２６は、処理ユニット２１によって生成された映像信号を入力し、その映像信号に基づく映像を生成（表示）する。投影型ディスプレイユニット２６の構成の一例を挙げると、投影型ディスプレイユニット２６が表示コントローラ、表示素子（例えば液晶表示素子、デジタル・マイクロミラー・デバイス等の空間光変調素子）及び光源装置等を備える。表示コントローラは映像信号に基づいて光源装置及び表示素子を制御し、光源装置が原色光（例えば赤色光、青色光及び緑色光）を表示素子に照射し、表示素子が表示コントローラによって駆動されることによって、表示素子に照射される光が表示素子の画素毎に変調制御される。これにより、表示素子によって映像が生成される。なお、投影型ディスプレイユニット２６の表示素子が自発光型表示素子であれば、光源装置が投影型ディスプレイユニット２６に設けられていない。
投影型ディスプレイユニット２６（特に、表示素子）によって生成された映像は光学系３０の光学素子１６及び投影レンズによってユーザー９９の瞳に投影される。
【００２９】
視線方向検出ユニット２７は、位置情報を入力するポインティングデバイスとして利用される。つまり、視線方向検出ユニット２７は、光学素子１６を覗くユーザー９９の視線の方向（瞳が向く方向）を検出することによって、投影型ディスプレイユニット２６に表示される画面内の位置を特定する。視線方向検出ユニット２７は、検出した視線方向（画面内における位置）を示す信号をシステムバス２９を通じて処理ユニット２１に出力する。
【００３０】
例えば、視線方向検出ユニット２７は撮像素子及び画像処理ユニット等を備え、瞳及びその周辺の像が光学系３０の光学素子１６及び撮影レンズによって撮像素子に結像され、結像された像が撮像素子によって撮像されることによって電子画像に変換され、その電子画像が画像処理ユニットにより画像処理されることによってその電子画像中の瞳の位置が検出され、その検出された瞳の位置に基づく視線方向が画像処理ユニットにより算出される。その画像処理ユニットによって算出された視線方向は、投影型ディスプレイユニット２６によって表示される画面内における位置に相当する。なお、撮像素子によって撮像される画像は、可視光に基づく画像でもよいし、赤外線に基づく画像でもよい。
【００３１】
データストレージ２２には、ソフトウェア（基本プログラム）２２ａ、アプリケーションプログラム２２ｂ及びアプリケーションプログラム２２ｃが格納されている。
【００３２】
ソフトウェア２２ａは、ＯＳ及びそのＯＳのＧＵＩを実現するためのものである。処理ユニット２１がそのソフトウェア２２ａを起動・実行することによって、データストレージ２２、トランシーバーユニット２３、無線ＬＡＮユニット２４、無線通信ユニット２５、投影型ディスプレイユニット２６、視線方向検出ユニット２７、ＲＡＭ２８及びシステムバス２９が処理ユニット２１によって制御されるとともに、これらの間でデータ転送が行われる。
【００３３】
また、ソフトウェア２２ａは処理ユニット２１に通信制御機能を実現させる。通信制御機能を実現した処理ユニット２１は無線通信ユニット２５を制御して、所定の認証処理により無線通信ユニット２５を無線通信ユニット６３に接続（ペアリング）する。これにより、処理ユニット２１と処理ユニット６１が無線通信ユニット２５，６３を通じて無線通信可能な状態になる。
【００３４】
アプリケーションプログラム２２ｂはＯＳにインストールされている。そのアプリケーションプログラム２２ｂは、ＯＳ上において処理ユニット２１にとって実行可能なものである。アプリケーションプログラム２２ｂは、視線方向検出ユニット２７及び入力処理装置５０によってＧＵＩを操作するためのものである。従って、アプリケーションプログラム２２ｂは、ＯＳにおける入力処理装置５０のデバイスドライバである。
【００３５】
ソフトウェア２２ａによって処理ユニット２１の通信制御機能が実現されて、処理ユニット２１と処理ユニット６１が無線通信ユニット２５，６３を通じて無線通信可能な状態になった場合に、アプリケーションプログラム２２ｂが処理ユニット２１によって実行可能になる。
【００３６】
アプリケーションプログラム２２ｃはＯＳにインストールされている。そのアプリケーションプログラム２２ｃは、例えば地図表示ソフト、電子メールソフト、インターネットブラウザ、メッセンジャー、ゲームソフト、電子辞書ソフト、ワードプロセッサ、表計算ソフト、プレゼンテーションソフト、画像編集ソフト、作図ソフト、ベクトルグラフィックエディタ又はデジタルカメラ制御ソフト等のアプリケーションプログラムである。
【００３７】
アプリケーションプログラム２２ｂ，２２ｃは、トランシーバーユニット２３又は無線ＬＡＮユニット２４によってデータストレージ２２にダウンドーロされて、ＯＳにインストールされたものである。なお、アプリケーションプログラム２２ｂ，２２ｃが予めデータストレージ２２に格納されて、ＯＳにインストールされていてもよい。
【００３８】
図３は、ソフトウェア２２ａが処理ユニット２１にＧＵＩを実現させることによって表示されるデスクトップ画面の一例である。図３に示すデスクトップ画面７０は、処理ユニット２１がソフトウェア２２ａに従って投影型ディスプレイユニット２６を制御することによって投影型ディスプレイユニット２６に表示される画面である。つまり、処理ユニット２１がデスクトップ画面７０を生成し、処理ユニット２１がそのデスクトップ画面７０に従った映像信号を投影型ディスプレイユニット２６に出力すると、図３に示すようなデスクトップ画面７０が投影型ディスプレイユニット２６に表示される。投影型ディスプレイユニット２６に表示されるデスクトップ画面７０は、上述のように、光学系３０の光学素子１６及び投影レンズによってユーザー９９の瞳に投影される。
【００３９】
処理ユニット２１がデスクトップ画面７０を生成するに際しては、処理ユニット２１がアイコン７１をそのデスクトップ画面７０内に配置して、処理ユニット２１がそのアイコン７１をデスクトップ画面７０に合成する。そのため、投影型ディスプレイユニット２６に表示されるデスクトップ画面７０には、アイコン７１が表示される。
【００４０】
また、処理ユニット２１がデスクトップ画面７０を生成するに際しては、処理ユニット２１が視線方向検出ユニット２７によって検出された視線方向のデータからデスクトップ画面７０中のカーソル７２の位置を算出し、処理ユニット２１がデスクトップ画面７０内のその位置にカーソル７２を配置して、処理ユニット２１がその位置にカーソル７２を合成する。そのため、ユーザー９９が瞳及び視線を動かせば、それに応じた視線方向のデータが視線方向検出ユニット２７から処理ユニット２１に転送されるため、カーソル７２がユーザー９９にとってデスクトップ画面内で移動するように見える。なお、カーソル７２の透過率がゼロ％を超えて１００％以下であり、カーソル７２が透明又は半透明であってもよい。カーソル７２が透明であれば、投影されたデスクトップ画面７０にカーソル７２が表示されない。
【００４１】
投影型ディスプレイユニット２６に表示されるデスクトップ画面内のアイコン７１のうち何れか一つがアプリケーションプログラム２２ｃにリンクされており、アプリケーションプログラム２２ｃにリンクされたアイコン７１の選択及び決定によって処理ユニット２１がソフトウェア２２ａ上でアプリケーションプログラム２２ｃを実行する。図４に示すようなアプリケーション画面８０が投影型ディスプレイユニット２６に表示される。
【００４２】
図４は、ソフトウェア２２ａ及びアプリケーションプログラム２２ｃが処理ユニット２１にＧＵＩを実現させることによって表示されるアプリケーション画面の一例である。処理ユニット２１がアプリケーションプログラム２２ｃの実行によりアプリケーション画面８０を生成し、ソフトウェア２２ａによって処理ユニット２１がそのアプリケーション画面８０に従った映像信号を投影型ディスプレイユニット２６に出力すると、図４に示すようなアプリケーション画面８０が投影型ディスプレイユニット２６に表示される。投影型ディスプレイユニット２６に表示されるアプリケーション画面８０は、上述のように、光学系３０の光学素子１６及び投影レンズによってユーザー９９の瞳に投影される。
【００４３】
処理ユニット２１が視線方向検出ユニット２７によって検出された視線方向のデータからアプリケーション画面８０中のカーソル８１の位置を算出し、処理ユニット２１がアプリケーション画面８０内のその位置にカーソル８１を配置して、処理ユニット２１がその位置にカーソル８１を合成する。
【００４４】
続いて、入力処理装置５０の各部について詳細に説明する。
システムバス６８は、処理ユニット６１、データストレージ６２、無線通信ユニット６３、表示器６４、タッチパネル６５、ＲＡＭ６６及び計時回路６７の間でデータ転送を行うものである。
処理ユニット６１はＣＰＵ及びキャッシュメモリ等から構成されており、必要に応じてＧＰＵも有する。
ＲＡＭ６６は処理ユニット６１の作業領域となるメモリであり、処理ユニット６１によって処理が行われる際に生成されるデータがＲＡＭ６６に一時的に記録される。
データストレージ６２は不揮発性半導体メモリ又は小型磁気記憶装置である。
【００４５】
無線通信ユニット６３は、Bluetoothの規格に基づいてデータ通信を行うものである。つまり、無線通信ユニット６３は、処理ユニット６１によって転送されたデータの各種処理を行って、処理後のデータを表示処理装置１０の無線通信ユニット２５に送信する。また、無線通信ユニット６３は、表示処理装置１０の無線通信ユニット２５から通信データを受信し、その通信データの各種処理を行って、その通信データを処理ユニット６１、ＲＡＭ６６、データストレージ６２等に転送する。
【００４６】
計時回路６７は、発振回路から入力された所定の周波数信号を計数するとともに初期時刻データに加算することにより現在時刻を保持するカウンタである。なお、処理ユニット２１の制御によりソフトウェア的に計数された現在時刻が計時回路６７に記憶される構成であっても良い。
【００４７】
表示器６４は、ドットマトリックス方式の液晶ディスプレイパネル又は有機エレクトロルミネッセンスディスプレイパネルと、液晶ディスプレイパネル又は有機エレクトロルミネッセンスディスプレイパネルを駆動する駆動回路とを有する。表示器６４は、処理ユニット６１によって生成された映像信号に基づく映像を表示する。なお、表示器６４がセグメント方式の表示器でもよい。
【００４８】
タッチパネル６５が表示器６４の表示面に重ねられている。タッチパネル６５は、タッチパネル６５に対しての接触物（例えばユーザー９９の指）の接触位置を検出し、その接触位置を表す信号を生成する。タッチパネル６５の出力信号は処理ユニット６１に転送される。
【００４９】
データストレージ６２には、プログラム６２ａが格納されている。プログラム６２ａはＯＳ（ファームウェア）を実現するものである。処理ユニット６１がプログラム６２ａを起動・実行することによってデータストレージ６２、無線通信ユニット６３、表示器６４、タッチパネル６５、計時回路６７及びシステムバス６８が処理ユニット６１によって制御されるとともに、これらの間でデータ転送が行われる。
【００５０】
また、プログラム６２ａは処理ユニット６１に時間表示機能、通信制御機能及び遠隔操作機能を実現させる。
【００５１】
時間表示機能を実現した処理ユニット６１は計時回路６７によって計られた現在時刻を読み取り、その現在時刻を文字或いは記号等で表すようにその現在時刻を表示器６４に表示させる。
【００５２】
通信制御機能を実現した処理ユニット６１は、無線通信ユニット６３を制御して、所定の認証処理により無線通信ユニット６３を無線通信ユニット２５に接続（ペアリング）する。これにより、処理ユニット６１と処理ユニット２１が無線通信ユニット６３，２５を通じて無線通信可能な状態になる。
【００５３】
処理ユニット６１は、接触物によるタッチパネル６５の操作の種別を判別する操作入力モードを有し、例えば表示処理装置１０が遠隔操作を受け付ける状態にある場合は、操作入力モードに移行する。この操作入力モードにおいては、処理ユニット６１の時間表示機能が無効にされてもよいし、有効であってもよい。時間表示機能が無効にされた場合、プログラム６２ａによってグリッド表示機能が処理ユニット６１に実現されてもよい。グリッド表示機能を実現した処理ユニット６１は、グリッドを表示器６４に表示させる。
【００５４】
処理ユニット６１は、表示処理装置１０への操作入力モードに移行すると、処理ユニット６１の遠隔操作機能が実現される。遠隔操作機能が実現された処理ユニット６１は、タッチパネル６５の出力信号に基づき接触物によるタッチパネル６５の操作の種別を判別する。そして、処理ユニット６１は、判別結果に基づくコマンド（コマンドは、表示処理装置１０に対する命令を表すデータである）を無線通信ユニット６３に転送して、そのコマンドを無線通信ユニット６３により無線通信ユニット２５に送信する。
【００５５】
続いて、タッチパネル６５に対する操作の種別及びコマンドについて詳細に説明する。
タッチパネル６５に対する操作がタッチ（タッチとは、接触物がタッチパネル６５に短時間接触すること）である場合、タッチパネル６５の出力信号に基づいて処理ユニット６１がタッチパネル６５の操作の種別をタッチ操作と特定し、その処理ユニット６１はタッチである旨のコマンド（以下、タッチコマンドという）を無線通信ユニット６３により無線通信ユニット２５に送信する。
【００５６】
タッチパネル６５に対する操作がフリック（フリックとは、接触物がタッチパネル６５に接触した状態でその接触物がタッチパネル６５に沿って滑ること）である場合、タッチパネル６５の出力信号に基づいて処理ユニット６１がタッチパネル６５の操作の種別をフリック操作と特定し、接触物がタッチパネル６５から離れるまでの間中、処理ユニット６１がフリックのベクトル（フリックの方向と単位時間当たりの移動距離）を表すコマンド（以下、ベクトルコマンドという）を無線通信ユニット６３により無線通信ユニット２５に送信する。また、フリック操作の開始後に接触物がタッチパネル６５から離れたら、タッチパネル６５の出力信号に基づいて処理ユニット６１がフリック操作の終了を検出し、処理ユニット６１はフリック操作が終了した旨のコマンド（以下、フリック終了コマンドという）を無線通信ユニット６３により無線通信ユニット２５に送信する。なお、フリック操作の開始後に接触物がタッチパネル６５から離れずに停止したら、ベクトルコマンドのベクトル（移動距離）はゼロとなる。
【００５７】
接触物がタッチパネル６５に接触された場合、タッチパネル６５の出力信号に基づいて処理ユニット６１がタッチパネル６５に対する接触物の接触を特定して、接触物がタッチパネル６５から離れるまでの間中、処理ユニット６１が接触を表すコマンド（以下、接触コマンド)を無線通信ユニット６３により無線通信ユニット２５に送信する。一方、接触物がタッチパネル６５に接触されていない場合、タッチパネル６５の出力信号に基づいて処理ユニット６１がタッチパネル６５に対する接触物の非接触を特定して、接触コマンドを送信しない。
【００５８】
続いて、図５及び図６を参照して、アプリケーションプログラム２２ｂが処理ユニット２１に行わせる処理の流れについて説明する。ここで、図５は、デスクトップ画面７０が投影型ディスプレイユニット２６に表示されている際にアプリケーションプログラム２２ｂに基づいて行われる処理の流れを示したものである。図６は、アプリケーション画面８０が投影型ディスプレイユニット２６に表示されている際にアプリケーションプログラム２２ｂに基づいて行われる処理の流れを示したものである。
【００５９】
ＧＵＩによりデスクトップ画面７０が表示されている場合に、図５に示す処理がアプリケーションプログラム２２ｂに基づいて処理ユニット２１によって実行されるが、アプリケーションプログラム２２ｂ以外のアプリケーションプログラム（例えばアプリケーションプログラム２２ｃ）が実行されて、そのアプリケーション画面（アプリケーションプログラム２２ｃの場合にはアプリケーション画面８０）が表示される場合には、図５に示す処理が中断される。その後、そのアプリケーションプログラムが終了又は中断されて、再度デスクトップ画面７０が表示された場合には、処理ユニット２１は図５に示す処理を続行して実行する。
【００６０】
図５に示す処理について説明する。
まず、処理ユニット２１が、デスクトップ画面７０内のカーソル７２がアイコン７１に重なっているか否かを判定する（ステップＳ１）。つまり、処理ユニット２１が、視線方向検出ユニット２７によって検出された視線方向のデータ（カーソル７２の位置）がデスクトップ画面７０中のアイコン７１の表示領域に含まれるか否かを判定する（ステップＳ１）。ここで、処理ユニット２１は、デスクトップ画面７０内の全てのアイコン７１に対してこのような判定処理を行う。
【００６１】
視線方向検出ユニット２７によって検出された視線方向のデータがデスクトップ画面７０中のアイコン７１の表示領域に含まれない場合（ステップＳ１：ＮＯ）、処理ユニット２１はステップＳ１の処理を繰り返し行う。つまり、ユーザー９９の視線がデスクトップ画面７０内のアイコン７１に向かない限り、ステップＳ１の処理が繰り返し行われる。
【００６２】
一方、視線方向検出ユニット２７によって検出された視線方向のデータがデスクトップ画面７０中のアイコン７１の表示領域に含まれる場合（ステップＳ１：ＹＥＳ）、処理ユニット２１の処理がステップＳ２に移行する。ステップＳ２では、処理ユニット２１は、カーソル７２が重なったアイコン７１の選択をする。従って、ステップＳ１の際に、ユーザー９９の視線がデスクトップ画面７０内のアイコン７１に向いていれば、そのアイコン７１が選択される。
【００６３】
次のステップＳ３では、処理ユニット２１は、カーソル７２が重なったアイコン７１の表示位置を変更せずにそのアイコン７１の表示態様を変更する（図７参照）。従って、ステップＳ１の際に、ユーザー９９の視線がデスクトップ画面７０内のアイコン７１に向いていれば、そのアイコン７１の表示態様が変更される。表示態様の変更とは、例えば、アイコン７１を強調表示すること、アイコン７１の透過率を増加させてアイコン７１をより透明な表示にすること、アイコン７１の背景を特定の色で塗りつぶすこと、アイコン７１を拡大表示すること、アイコン７１をカラーからグレースケールに変更すること、アイコン７１のカラーを反転すること等である。
【００６４】
カーソル７２が重なったアイコン７１の表示態様が変更されたら、処理ユニット２１は、無線通信ユニット２５によりタッチコマンドを受信したか否か判定するとともに（ステップＳ４）、無線通信ユニット２５によりベクトルコマンドを受信したか否かを判定する（ステップＳ５）。処理ユニット２１がタッチコマンド及びベクトルコマンドのどちらも受信しない場合には（ステップＳ４：ＮＯ、ステップＳ５：ＮＯ）、処理ユニット２１の処理がステップＳ１に移行する。
【００６５】
従って、ユーザー９９の視線がデスクトップ画面内のアイコン７１に向いた後に、ユーザー９９が入力処理装置５０のタッチパネル６５を触らずに、ユーザー９９が視線を動かさずにアイコン７１を見続けていると、ステップＳ１（ＹＥＳ）、ステップＳ２、ステップＳ３、ステップＳ４（ＮＯ）及びステップＳ５（ＮＯ）の処理がこの順に繰り返し行われるので、アイコン７１の選択状態と表示態様の変更状態が継続される。アイコン７１の選択状態と表示態様の変更状態が継続されている時に、ユーザー９９が視線をデスクトップ画面７０内のアイコン７１から外すと、処理ユニット２１の処理がステップＳ１からステップＳ２に移行しないので（ステップＳ１：ＮＯ参照）、アイコン７１の選択状態と表示態様の変更状態が解除され、アイコン７１が非選択となるとともに、アイコン７１の表示態様も元に戻る。
なお、ここでカーソル７２が重なったアイコン７１の表示態様が変更されたら、無線通信ユニット２５によって、その旨を示す情報を入力装置５０の無線通信ユニット６３に送信し、入力装置５０は無線通信ユニット６３によってアイコン７１の表示態様が変更されたことを示す情報を受信すると、表示処理装置１０を遠隔操作するための操作入力モードに移行する。
【００６６】
ユーザー９９の視線がデスクトップ画面７０内のアイコン７１に向いた状態で、ユーザー９９が入力処理装置５０のタッチパネル６５をタッチすると、処理ユニット６１がタッチパネル６５の出力信号に基づいてタッチパネル６５の操作の種別をタッチ操作と特定して、タッチコマンドを無線通信ユニット６３により無線通信ユニット２５に送信する。そうすると、処理ユニット２１の処理がステップＳ４からステップＳ６に移行する（ステップＳ４：ＹＥＳ）。ステップＳ６では、処理ユニット２１は、ステップＳ２において選択されたアイコン７１の選択を決定する。選択及び決定されたアイコン７１がアプリケーションプログラム２２ｃにリンク付けられていれば、処理ユニット２１がアプリケーションプログラム２２ｃを実行する。
【００６７】
ユーザー９９の視線がデスクトップ画面内のアイコン７１に向いた状態で、ユーザー９９が入力処理装置５０のタッチパネル６５をフリックすると、処理ユニット６１がタッチパネル６５の出力信号に基づいてタッチパネル６５の操作の種別をフリック操作と特定して、ベクトルコマンドを無線通信ユニット６３により無線通信ユニット２５に送信する。そうすると、処理ユニット２１の処理がステップＳ５からステップＳ７に移行する（ステップＳ５：ＹＥＳ）。ステップＳ７では、処理ユニット２１は、ステップＳ２において選択されたアイコン７１をベクトルコマンドのベクトルに従ってデスクトップ画面７０内で移動させる。移動させるアイコン７１の表示態様は変更した状態であってもよいし、元に戻してもよいし、更に別の態様に変更されたものでもよい。
【００６８】
ステップＳ７の後、処理ユニット２１は無線通信ユニット２５によりフリック終了コマンドを受信したか否か判定する（ステップＳ８）。処理ユニット２１がフリック終了コマンドを受信しない場合には（ステップＳ８：ＮＯ）、処理ユニット２１の処理がステップＳ７に移行し、処理ユニット２１がフリック終了コマンドを受信した場合には（ステップＳ８：ＹＥＳ）、処理ユニット２１の処理がステップＳ９に移行する。
【００６９】
従って、ユーザー９９の視線がデスクトップ画面７０内のアイコン７１に向いた後にユーザー９９が入力処理装置５０のタッチパネル６５のフリックを終了しなければ、ステップＳ７及びステップＳ８（Ｎｏ）の処理が繰り返し行われるので、図８に示すようにデスクトップ画面７０内でアイコン７１が移動し続けて（ステップＳ７）、そのアイコン７１の選択状態が継続される。
入力処理装置５０のタッチパネル６５のフリック操作中にたとえユーザー９９の視線がデスクトップ画面７０内のアイコン７１から外れても、ステップＳ７及びステップＳ８（Ｎｏ）の処理が繰り返し行われるので、デスクトップ画面７０内でアイコン７１が移動し続けて（ステップＳ７）、そのアイコン７１の選択状態が継続される。
ユーザー９９がフリックを一旦停止した後に指等の接触物をタッチパネル６５から離さなければ、処理ユニット６１によってフリック終了コマンドが送信されず（ステップＳ８：ＮＯ）、その後のステップＳ７におけるベクトルコマンドのベクトルがゼロであるので、デスクトップ画面７０内のアイコン７１が一旦停止したように見えるだけであり、そのアイコン７１の選択状態が継続される。そして、ユーザー９９がフリックの一旦停止後にフリック操作を再開すれば、その後のステップＳ７におけるベクトルコマンドのベクトルがゼロでないので、デスクトップ画面７０内でのアイコン７１の移動が再開される（ステップＳ７参照）。
【００７０】
一方、ユーザー９９がフリック操作を終了して、指等の接触物をタッチパネル６５から離すと、処理ユニット６１がタッチパネル６５の出力信号に基づいてタッチパネル６５のフリック操作の終了を認識して、フリック終了コマンドを無線通信ユニット６３により無線通信ユニット２５に送信する。そのため、処理ユニット２１の処理がステップＳ８からステップＳ９に移行する（ステップＳ８：ＹＥＳ）。
【００７１】
ステップＳ９では、処理ユニット２１は移動したアイコン７１の選択を解除する。次に、処理ユニット２１は移動したアイコン７１の表示態様の変更を解除し、アイコン７１の表示態様を元に戻す（ステップＳ１０）。その後、処理ユニット２１の処理がステップＳ１に戻る。
【００７２】
図６に示す処理について説明する。
ＧＵＩによりアプリケーション画面８０が表示されている場合に、処理ユニット２１は、無線通信ユニット２５により接触コマンドを受信したか否かを判定する（ステップＳ２１）。処理ユニット２１が接触コマンドデータを受信した場合には、処理ユニット２１の処理がステップＳ２２に移行し、処理ユニット２１が接触コマンドデータを受信しない場合には、処理ユニット２１の処理がステップＳ２１に戻る。
【００７３】
処理ユニット２１の処理がステップＳ２１からステップＳ２２に移行すると、処理ユニット２１はアプリケーション画面８０内のカーソル８１の位置に基づいた処理を行う（ステップＳ２２〜Ｓ３０）。具体的には、図９に示すように、処理ユニット２１は、視線方向検出ユニット２７によって検出された視線方向のデータがアプリケーション画面８０内の中央領域８２の右側領域８３と左側領域８４と上側領域８５と下側領域８６の何れの領域にあるかを判別するとともに（ステップＳ２２，Ｓ２４，Ｓ２６，Ｓ２８）、中央領域８２内の特定箇所８７に位置するか否かを判定する（ステップＳ３０）。ここで、図９は、視線方向がアプリケーション画面８０のどこに向くかを判定するための基準を示した図である。中央領域８２は、アプリケーション画面８０よりも小さい領域であって、アプリケーション画面９０の中央に設定される領域である。右側領域８３は中央領域８２の右側に設定された領域であり、左側領域８４は中央領域８２の左側に設定された領域であり、上側領域８５は中央領域８２の上側に設定された領域であり、下側領域８６は中央領域８２の下側に設定された領域である。特定箇所８７は、処理ユニット２１がアプリケーションプログラム２２ｃを実行することによってアプリケーション画面８０に設定された位置である。
【００７４】
視線方向検出ユニット２７によって検出された視線方向のデータが右側領域８３に含まれる場合には（ステップＳ２２：ＹＥＳ）、処理ユニット２１がアプリケーション画面８０を右にスクロールし（ステップＳ２３）、視線方向検出ユニット２７によって検出された視線方向のデータが左側領域８４に含まれる場合には（ステップＳ２４：ＹＥＳ）、処理ユニット２１がアプリケーション画面８０を左にスクロールし（ステップＳ２５）、視線方向検出ユニット２７によって検出された視線方向のデータが上側領域８５に含まれる場合には（ステップＳ２６：ＹＥＳ）、処理ユニット２１がアプリケーション画面８０を上にスクロールし（ステップＳ２７）、視線方向検出ユニット２７によって検出された視線方向のデータが下側領域８６に含まれる場合には（ステップＳ２８：ＹＥＳ）、処理ユニット２１がアプリケーション画面８０を下にスクロールし、視線方向検出ユニット２７によって検出された視線方向のデータが特定箇所の位置になる場合には（ステップＳ３０：ＹＥＳ）、処理ユニット２１が図１０に示すようにアプリケーション画面８０に特定情報（特定箇所に関連・リンクされた情報をテキスト、図形、記号等で表示するもの）８８を表示する（ステップＳ３１）。特定情報８８は、処理ユニット２１がアプリケーションプログラム２２ｃを実行することによって得られた情報である。
【００７５】
ここで、ユーザー９９が指等を入力処理装置５０のタッチパネル６５に接触し続ける限り、処理ユニット６１がタッチパネル６５の出力信号に基づいてタッチパネル６５の接触を継続して検出して、接触コマンドデータを無線通信ユニット６３により無線通信ユニット２５に送信し続ける。そのため、ユーザー９９が指等を入力処理装置５０のタッチパネル６５に接したまま、視線を右側領域８３に向ければ、アプリケーション画面８０が右にスクロールされ、視線を左側領域８４に向ければ、アプリケーション画面８０が左にスクロールされ、視線を上側領域８５に向ければ、アプリケーション画面８０が上にスクロールされ、視線を下側領域８６に向ければ、アプリケーション画面８０が下にスクロールされ、視線を特定箇所８７に向ければ、アプリケーション画面８０に特定情報８８が表示される。
【００７６】
それらのスクロール表示又は特定情報表示が行われている時に、ユーザー９９が指等をタッチパネル６５から離すか、或いはユーザー９９が視線を中央領域８２（但し、特定箇所８７を除く）に向けると、そのようなスクロール表示又は特定情報表示が終了される（ステップＳ２１：ＮＯ参照、又は、ステップＳ２２，Ｓ２４，Ｓ２６，Ｓ２８，Ｓ３０：ＮＯ参照）。
【００７７】
以上の実施の形態によれば、次のような利点又は効果がある。
【００７８】
（１）  ユーザー９９が視線をデスクトップ画面７０内のアイコン７１に向ければ、そのアイコン７１の表示態様が変更されるので、ユーザー９９がそのアイコン７１の選択を視覚的に認識することができる。
【００７９】
（２）  ユーザー９９が視線をデスクトップ画面７０内のアイコン７１に向けた状態でタッチパネル６５をタッチすれば、そのアイコン７１の選択が決定されるので、アイコン７１の決定操作が容易になる。例えば、ユーザー９９がアイコン７１を注視した状態でアイコン７１の選択を行うことができる。
【００８０】
（３）  ユーザー９９が視線をデスクトップ画面７０内の７１に向けた状態でタッチパネル６５をフリックすれば、そのアイコン７１がフリック方向に従って移動されるので、アイコン７１を視線方向からずらすことができる。つまり、アイコン７１と視線との連携が解除されるので、アイコン７１を動かしながら、デスクトップ画面７０内のアイコン７１以外を注視することができる。ここで、ユーザー９９にとってはデスクトップ画面７０と外界像が合成して見えるので、ユーザー９９がアイコン７１の移動中に外界像を注視すること等ができる。
【００８１】
（４）  ユーザー９９がタッチパネル６５にタッチした状態で視線をアプリケーション画面８０の周縁部に向ければ、アプリケーション画面８０がその方向へスクロールするので、ユーザー９９が画面スクロールの操作を直感的に行うことができる。一方、アプリケーション画面８０のスクロール中にユーザー９９がタッチパネル６５のタッチを解除したり、視線を画面中央部に向けたりすれば、そのスクロールが停止する。そのため、ユーザー９９が画面スクロールの停止操作を直感的に行うことができる。
【００８２】
（５）  ユーザー９９がタッチパネル６５にタッチした状態で視線を特定箇所８７に向ければ、その特定箇所８７に関連・リンクされた特定情報８８が表示されるので、特定箇所８７の選択及びそれに基づく特定情報８８の表示を容易に行うことができる。
【００８３】
以上に本発明の実施形態を説明したが、本発明の要部を変更しない範囲で上記実施形態から変更・改良が可能である。そして、本発明の技術的範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載に基づいて定められる。更に、特許請求の範囲の記載から本発明の本質とは関係のない変更を加えた均等な範囲も本発明の技術的範囲に含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
表示処理装置及び入力処理装置を備えたＧＵＩシステムにおいて、
前記表示処理装置が、
表示部と、
アイコンを含む画面を前記表示部に表示させる第一処理部と、
ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出部と、
を備え、
前記入力処理装置が、
タッチパネルと、
前記第一処理部と通信可能であり、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定する第二処理部と、
前記第二処理部によって特定された前記タッチパネルに対する操作を前記第一処理部に送信する操作送信手段と、
を備え、
前記第一処理部は、
前記視線方向検出手段によって特定された位置と、前記操作送信手段によって送信された前記タッチパネルに対する操作に基づいて当該表示処理装置の制御を行うことを特徴とするＧＵＩシステム。
＜請求項２＞
前記第一処理部は、
前記視線方向検出部によって特定された位置が前記画面内の前記アイコンの位置か否かを判別する位置判別手段と、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの選択を行う選択手段と、
前記操作送信手段によって送信され前記タッチパネルに対する操作に基づいて、前記選択手段によって選択された前記アイコンの選択の決定を行う決定手段と、
を更に有することを特徴とする請求項１記載のＧＵＩシステム。
＜請求項３＞
前記第一処理部が、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの表示態様を変更する表示態様変更手段
を有する
ことを特徴とする請求項２に記載のＧＵＩシステム。
＜請求項４＞
前記第一処理部は、
前記送信手段によって送信された前記タッチパネルに対する操作に基づいて、前記選択手段によって選択された前記アイコンを前記画面内で移動させる移動手段を更に有することを特徴とする請求項１乃至３の何れかに記載のＧＵＩシステム。
＜請求項５＞
前記第一処理部は、
前記視線方向検出部によって特定された位置が前記画面内の中央領域の外側の領域であるか否かを判別する第一判別手段と、
前記第一判別手段によって否でない旨の判別が行われた場合であって、且つ前記操作送信手段によって送信された前記タッチパネルに対する操作を受信した場合に、前記視線方向検出部によって特定された位置が前記画面内の前記中央領域から外れた方向へ前記画面をスクロールするスクロール手段と、
を更に有することを特徴とする請求項１乃至４の何れかに記載のＧＵＩシステム。
＜請求項６＞
前記第一処理部は、
前記視線方向検出部によって特定された位置が前記画面内の特定箇所であるか否かを判別する第二判別手段と、
前記第二判別手段によって否でない旨の判別が行われた場合であって、且つ前記送信手段によって送信された前記接触コマンドを受信した場合に、前記特定箇所に対応付けられた情報を前記画面に表示する特定情報表示手段と、
を有することを特徴とする請求項１乃至５の何れかに記載のＧＵＩシステム。
＜請求項７＞
前記第二処理部は、
前記タッチパネルに対して行われる前記表示処理装置への操作を特定する入力モードと、それ以外のモードとを切り替える切替手段を更に有し、
前記入力モード時に前記タッチパネルに対する操作が行われた場合に、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定することを特徴とする請求項１乃至６の何れかに記載のＧＵＩシステム。
＜請求項８＞
表示部と、
アイコンを含む画面を表示部に表示させる処理手段と、
ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出手段と、
前記第一処理部と無線通信可能な入力処理装置から操作内容を受信する受信手段と、
を備え、
前記処理手段は、
前記視線方向検出手段によって特定された位置と、前記受信手段によって受信した操作内容に基づいて当該表示処理装置の制御を行うことを特徴とする表示処理装置。
＜請求項９＞
前記処理手段は、
前記視線方向検出手段によって特定された位置が前記画面内の前記アイコンの位置か否かを判別する位置判別手段と、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの選択を行う選択手段と、
前記操作送信手段によって送信され前記タッチパネルに対する操作に基づいて、前記選択手段によって選択された前記アイコンの選択の決定を行う決定手段と、
を更に備えたことを特徴とする請求項８記載の表示処理装置。
＜請求項１０＞
前記処理手段は、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの表示態様を変更する表示態様変更手段
を有する
ことを特徴とする請求項９に記載の表示処理装置。
＜請求項１１＞
前記処理手段は、
前記受信手段によって受信した操作内容に基づいて、前記選択手段によって選択された前記アイコンを前記画面内で移動させる移動手段を更に備えることを特徴とする請求項８乃至１０の何れかに記載の表示処理装置。
＜請求項１２＞
前記処理手段は、
前記視線方向検出部によって特定された位置が前記画面内の中央領域の外側の領域であるか否かを判別する第一判別手段と、
前記第一判別手段によって否でない旨の判別が行われた場合であって、且つ前記操作送信手段によって送信された前記タッチパネルに対する操作を受信した場合に、前記視線方向検出部によって特定された位置が前記画面内の前記中央領域から外れた方向へ前記画面をスクロールするスクロール手段と、
を更に備えることを特徴とする請求項８乃至１１の何れかに記載の表示処理装置。
＜請求項１３＞
前記処理手段は、
前記視線方向検出部によって特定された位置が前記画面内の特定箇所であるか否かを判別する第二判別手段と、
前記第二判別手段によって否でない旨の判別が行われた場合であって、且つ前記送信手段によって送信された前記接触コマンドを受信した場合に、前記特定箇所に対応付けられた情報を前記画面に表示する特定情報表示手段と、
を有することを特徴とする請求項８乃至１２の何れかに記載の表示処理装置。
＜請求項１４＞
タッチパネルと、
表示処理装置と無線通信によって接続する接続手段と、
前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定する特定手段と、
前記特定手段によって特定された前記タッチパネルに対する操作を前記接続手段によって接続された表示処理装置に送信する操作送信手段と、
前記タッチパネルに対して行われる前記表示処理装置への操作を特定する入力モードと、それ以外のモードとを切り替える切替手段と、
を備え、
前記特定手段は、前記入力モード時に前記タッチパネルに対する操作が行われた場合に、前記タッチパネルの出力信号に基づいて前記タッチパネルに対する操作を特定することを特徴とする入力処理装置。
＜請求項１５＞
表示部と、アイコンを含む画面を前記表示部に表示させるコンピューターと、ユーザーの視線方向を検出することによって前記表示部に表示される画面内の位置を特定する視線方向検出部と、を備える表示処理装置の前記コンピューターを、
前記視線方向検出部によって特定された位置が前記画面内の前記アイコンの位置か否かを判別する位置判別手段、
前記位置判別手段によって否でない旨の判別が行われた場合に前記アイコンの選択を行う選択手段、
前記コンピューターと無線通信可能な入力処理装置から操作内容を受信する受信手段、
前記視線方向検出部によって特定された位置と、前記受信手段によって受信した操作内容に基づいて当該コンピューターを制御する処理手段
として機能させるプログラム。
【符号の説明】
【００８４】
１  ＧＵＩシステム
１０  表示処理装置
２１  処理ユニット（第一処理部）
２２ｂ  アプリケーションプログラム
２６  投影型ディスプレイユニット（表示部）
２７  視線方向検出ユニット（視線方向検出部）
５０  入力処理装置
６１  処理ユニット
６５  タッチパネル
【図１】
2015133088.tif 000003
【図２】
2015133088.tif 000004
【図３】
2015133088.tif 000005
【図４】
2015133088.tif 000006
【図５】
2015133088.tif 000007
【図６】
2015133088.tif 000008
【図７】
2015133088.tif 000009
【図８】
2015133088.tif 000010
【図９】
2015133088.tif 000011
【図１０】
2015133088.tif 000012