(57)【要約】【課題】使用者の指の動きで頭部装着型表示装置を操作する技術において、分かり易く、かつ、高度なユーザーインターフェイスを提供する。【解決手段】頭部装着型表示装置と、頭部装着型表示装置を操作するための入力装置と、を備える画像表示システムにおいて、入力装置は、使用者の指の動きを検出する動き検出部を備え、頭部装着型表示装置は、頭部装着型表示装置を操作するための仮想的な操作部であって、検出された指の動きに応じた仮想操作部を、虚像として使用者に視認させる操作制御部を備える。【選択図】図５
2015090530.tif 000002
【特許請求の範囲】
【請求項１】
透過型の頭部装着型表示装置と、前記頭部装着型表示装置を操作するための入力装置と、を備える画像表示システムであって、
前記入力装置は、使用者の指の動きを検出する動き検出部を備え、
前記頭部装着型表示装置は、前記頭部装着型表示装置を操作するための仮想的な操作部であって、前記検出された指の動きに応じた仮想操作部を、虚像として前記使用者に視認させる操作制御部を備える、画像表示システム。
【請求項２】
請求項１に記載の画像表示システムであって、
前記入力装置は、さらに、前記使用者によって触れられた位置の情報を検出する入力面を備え、
前記操作制御部は、前記入力面よりも大きな前記仮想操作部の虚像を前記使用者に視認させる、画像表示システム。
【請求項３】
請求項２に記載の画像表示システムであって、
前記操作制御部は、前記仮想操作部の虚像のうちの少なくとも一部を前記入力面に重畳させることができる場合に限って、前記仮想操作部の虚像を前記使用者に視認させる、画像表示システム。
【請求項４】
請求項２に記載の画像表示システムであって、
前記操作制御部は、前記仮想操作部の虚像のうちの少なくとも一部が前記入力面と重畳している場合に、前記重畳している部分を拡大した前記仮想操作部の虚像を前記使用者に視認させる、画像表示システム。
【請求項５】
請求項２から請求項４のいずれか一項に記載の画像表示システムであって、
前記動き検出部は、前記指の動きの一つとして、前記入力面と前記使用者の指との間の距離を検出し、
前記操作制御部は、前記検出された距離が第１の閾値以下になったことをトリガーとして、前記仮想操作部の虚像を前記使用者に視認させる、画像表示システム。
【請求項６】
請求項１から請求項５のいずれか一項に記載の画像表示システムであって、
前記頭部装着型表示装置は、さらに、前記虚像を形成する画像表示部を備え、
前記操作制御部は、
前記検出された指の動きを、前記仮想操作部上の指示体の座標変化へと変換することで、前記検出された指の動きに応じた仮想操作部を生成し、
前記生成された仮想操作部を表す虚像を前記画像表示部に形成させる、画像表示システム。
【請求項７】
請求項６に記載の画像表示システムであって、
前記動き検出部は、前記指の動きの一つとして、前記入力面と前記使用者の指との間の距離を検出し、
前記操作制御部は、
前記検出された距離が第２の閾値以下になったことをトリガーとして、前記変換を停止し、
前記検出された距離が前記第２の閾値よりも小さい第３の閾値以下になったことをトリガーとして、最後に前記変換がなされた前記指示体の座標を、前記頭部装着型表示装置への入力とする、画像表示システム。
【請求項８】
請求項１から請求項７のいずれか一項に記載の画像表示システムであって、
前記入力装置は、前記使用者が身に着けることが可能なウェアラブルデバイスとして構成されている、画像表示システム。
【請求項９】
透過型の頭部装着型表示装置と、前記頭部装着型表示装置を操作するための入力装置と、を備える画像表示システムを制御する方法であって、
前記入力装置が、使用者の指の動きを検出する工程と、
前記頭部装着型表示装置が、前記頭部装着型表示装置を操作するための仮想的な操作部であって、前記検出された指の動きに応じた仮想操作部を、虚像として前記使用者に視認させる工程と、
を備える、方法。
【請求項１０】
頭部装着型表示装置であって、
前記頭部装着型表示装置を操作するための仮想的な操作部であって、使用者の指の動きに応じた仮想操作部を生成する操作制御部と、
前記生成された仮想操作部を表す虚像を形成する画像表示部と、
を備える、頭部装着型表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置と入力装置とを備える画像表示システムに関する。
【背景技術】
【０００２】
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。
【０００３】
特許文献１、２には、使用者の各指に装着された専用の装置を用いて、使用者の各指の動きを検出し、検出した指の動きを頭部装着型表示装置に対する入力として使用する技術が記載されている。特許文献３、４には、頭部装着型表示装置に搭載されたカメラを用いて、使用者の指の動きを認識するシステムが記載されている。特許文献５、６には、タッチパネルに接触させた指の動作履歴を用いて、画像の回転、拡大、縮小、スクロール等の操作に関する実行指示および操作量を同時に入力可能とする技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２８４８８６号公報
【特許文献２】特開２０００−０２９６１９号公報
【特許文献３】特開２００８−０１７５０１号公報
【特許文献４】特開２００２−２５９０４６号公報
【特許文献５】特開２００８−０２７４５３号公報
【特許文献６】特開２０１０−５１５９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された技術では、使用者の各指に文字コードや記号コードが割り当てられているため、操作が分かりにくいという課題があった。同様に、特許文献２に記載された技術では、使用者の指の動き（具体的には、人差し指を持ち上げて所定時間内にもとの位置に戻す、等のジェスチャー）にクリックやドラッグ等のコマンドが割り当てられているため、操作が分かりにくいという課題があった。特許文献３に記載された技術では、フレームの指定やシャッターレリーズ等のカメラ操作を可能とするに留まり、現在のスマートフォン等で普及しているような、高度なユーザーインターフェイス（ＵＩ、User Interface）を提供することはできないという課題があった。同様に、特許文献４に記載された技術では、手書き文字を認識できるに留まり、高度なユーザーインターフェイスを提供することはできないという課題があった。特許文献５、６に記載された技術では、頭部装着型表示装置について考慮されていないという課題があった。
【０００６】
このため、例えば頭部装着型表示装置と入力装置とを備える画像表示システムのような、使用者の指の動きで頭部装着型表示装置を操作する技術においては、分かり易く、かつ、高度なユーザーインターフェイスが望まれていた。そのほか、この画像表示システムには、ユーザービリティーの向上、汎用性の向上、利便性の向上、信頼性の向上、製造コストの低減といった、種々の要望があった。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００８】
（１）本発明の一形態によれば、透過型の頭部装着型表示装置と、前記頭部装着型表示装置を操作するための入力装置と、を備える画像表示システムが提供される。この画像表示システムにおいて；前記入力装置は、使用者の指の動きを検出する動き検出部を備え；前記頭部装着型表示装置は、前記頭部装着型表示装置を操作するための仮想的な操作部であって、前記検出された指の動きに応じた仮想操作部を、虚像として前記使用者に視認させる操作制御部を備える、画像表示システム。この形態の画像表示システムによれば、操作制御部は、入力装置によって検出された使用者の指の動きに応じた仮想的な操作部を、虚像として使用者に視認させる。このため、頭部装着型表示装置と頭部装着型表示装置を操作するための入力装置とを備える画像表示システムにおいて、分かり易く、かつ、ＧＵＩ（Graphical User Interface）のような高度なユーザーインターフェイスを提供することができる。
【０００９】
（２）上記形態の画像表示システムにおいて；前記入力装置は、さらに、前記使用者によって触れられた位置の情報を検出する入力面を備え；前記操作制御部は、前記入力面よりも大きな前記仮想操作部の虚像を前記使用者に視認させてもよい。この形態の画像表示システムによれば、操作制御部は、入力装置が備える入力面よりも大きな仮想操作部の虚像を使用者に視認させる。使用者は、入力装置が備える入力面を用いて直接的に入力する場合と比較して、大きな画面（仮想操作部）を用いて入力することができるため、使用者の使い勝手を向上させることができる。
【００１０】
（３）上記形態の画像表示システムにおいて；前記操作制御部は、前記仮想操作部の虚像のうちの少なくとも一部を前記入力面に重畳させることができる場合に限って、前記仮想操作部の虚像を前記使用者に視認させてもよい。この形態の画像表示システムによれば、操作制御部は、仮想操作部の虚像のうちの少なくとも一部を入力面に重畳させることができる場合に限って、仮想操作部の虚像を使用者に視認させる。仮想操作部の虚像のうちの少なくとも一部を入力面に重畳させることができる場合とは、すなわち、頭部装着型表示装置を装着した使用者の眼と、入力装置の入力面とが略同一線上にある場合である。従って、このようにすれば、頭部装着型表示装置を装着した使用者が入力装置の入力面を見た場合に限って、仮想操作部の虚像を使用者に視認させることができる。
【００１１】
（４）上記形態の画像表示システムにおいて；前記操作制御部は、前記仮想操作部の虚像のうちの少なくとも一部が前記入力面と重畳している場合に、前記重畳している部分を拡大した前記仮想操作部の虚像を前記使用者に視認させてもよい。この形態の画像表示システムによれば、操作制御部は、仮想操作部の虚像のうちの少なくとも一部が入力面と重畳している場合に、重畳している部分を拡大した仮想操作部の虚像を使用者に視認させる。このため、使用者は、入力装置の入力面を仮想操作部の拡大鏡として使用することが可能となる。
【００１２】
（５）上記形態の画像表示システムにおいて；前記動き検出部は、前記指の動きの一つとして、前記入力面と前記使用者の指との間の距離を検出し；前記操作制御部は、前記検出された距離が第１の閾値以下になったことをトリガーとして、前記仮想操作部の虚像を前記使用者に視認させてもよい。この形態の画像表示システムによれば、操作制御部は、入力面と使用者の指との間の距離が第１の閾値以下になったことをトリガーとして仮想操作部の虚像を使用者に視認させる。この結果、使用者は、入力装置の入力面に指を近づける、という直観的な動作で仮想操作部の表示を開始することができる。
【００１３】
（６）上記形態の画像表示システムにおいて；前記頭部装着型表示装置は、さらに、前記虚像を形成する画像表示部を備え；前記操作制御部は；前記検出された指の動きを、前記仮想操作部上の指示体の座標変化へと変換することで、前記検出された指の動きに応じた仮想操作部を生成し；前記生成された仮想操作部を表す虚像を前記画像表示部に形成させてもよい。この形態の画像表示システムによれば、操作制御部は、入力装置によって検出された使用者の指の動きを、仮想操作部上の指示体の座標変化へと変換することで、検出された指の動きに応じた仮想操作部を生成することができる。また、操作制御部は、虚像を形成する画像表示部を用いて、生成された仮想操作部を表す虚像を使用者に視認させることができる。
【００１４】
（７）上記形態の画像表示システムにおいて；前記動き検出部は、前記指の動きの一つとして、前記入力面と前記使用者の指との間の距離を検出し；前記操作制御部は；前記検出された距離が第２の閾値以下になったことをトリガーとして、前記変換を停止し；前記検出された距離が前記第２の閾値よりも小さい第３の閾値以下になったことをトリガーとして、最後に前記変換がなされた前記指示体の座標を、前記頭部装着型表示装置への入力としてもよい。この形態の画像表示システムによれば、操作制御部は、入力面と使用者の指との間の距離が第２の閾値以下になった場合に、検出された指の動きを仮想操作部上の指示体の座標へ変換することを停止する。このため、操作制御部は、使用者が入力装置の入力面にある程度指を近づけたところで、指の動きに追従した仮想操作部上の指示体の座標変化を停止させることができる。また、操作制御部は、入力面と使用者の指との間の距離が、第２の閾値よりも小さい第３の閾値以下になった場合に、最後に変換がなされた指示体の座標を頭部装着型表示装置への入力とする。このため、操作制御部は、使用者が入力装置の入力面にさらに指を近づけたところで、第２の閾値時点の指示体の座標を、頭部装着型表示装置への入力へと確定することができる。このようにすれば、画像表示システムにおいて、使用者の手ブレに伴う入力ブレの発生を低減することができる。
【００１５】
（８）上記形態の画像表示システムにおいて；前記入力装置は、前記使用者が身に着けることが可能なウェアラブルデバイスとして構成されていてもよい。この形態の画像表示システムによれば、入力装置は、使用者が身に着けることが可能なウェアラブルデバイスとして構成されるため、使用者は、頭部装着型表示装置と入力装置とを、手軽に持ち運び、いつでも使用することができる。
【００１６】
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
【００１７】
例えば、本発明の一形態は、動き検出部と、操作制御部と、の２つの要素のうちの一部または全部の要素を備えたシステムとして実現可能である。すなわち、この装置は、動き検出部を有していてもよく、有していなくてもよい。また、この装置は、操作制御部を有していてもよく、有していなくてもよい。こうした装置は、例えば画像表示システムとして実現できるが、画像表示システム以外の他の装置としても実現可能である。前述した画像表示システムの各形態の技術的特徴の一部または全部は、いずれもこのシステムに適用することが可能である。
【００１８】
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置を用いた画像表示システム、画像表示システムの制御方法、頭部装着型表示装置、頭部装着型表示装置の制御方法、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態における画像表示システム１０００の概略構成を示す説明図である。
【図２】入力装置３００の構成を機能的に示すブロック図である。
【図３】動き検出部３２０について説明するための説明図である。
【図４】ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。
【図５】仮想操作部について説明するための説明図である。
【図６】使用者に視認される虚像の一例を示す説明図である。
【図７】入力処理の手順を示すフローチャートである。
【図８】入力処理の手順を示すフローチャートである。
【図９】入力処理において表示される仮想操作部の一例を示す説明図である。
【図１０】入力処理における使用者の指の動きの変化と仮想操作部の変化との関係についての説明図である。
【図１１】入力処理における使用者の指の動きの変化と仮想操作部の変化との関係についての説明図である。
【図１２】入力処理の第１のバリエーションについて説明するための説明図である。
【図１３】入力処理の第１のバリエーションについて説明するための説明図である。
【図１４】入力処理の第２のバリエーションについて説明するための説明図である。
【図１５】入力処理の第３のバリエーションについて説明するための説明図である。
【図１６】変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。
【発明を実施するための形態】
【００２０】
Ａ．実施形態：
Ａ−１．画像表示システムの構成：
図１は、本発明の一実施形態における画像表示システム１０００の概略構成を示す説明図である。画像表示システム１０００は、頭部装着型表示装置１００と、外部装置としての入力装置３００とを備えている。入力装置３００は、頭部装着型表示装置１００を操作するための装置である。入力装置３００は、頭部装着型表示装置１００と協働することによって、後述する入力処理を実行し、使用者による頭部装着型表示装置１００の操作を可能とする。
【００２１】
頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。入力装置３００は、情報通信端末であり、使用者が身に着けることが可能なウェアラブルデバイスとして構成されている。本実施形態では、腕時計型を例示する。ヘッドマウントディスプレイ１００と、入力装置３００とは、無線通信または有線通信可能に接続されている。
【００２２】
Ａ−２．入力装置の構成：
図２は、入力装置３００の構成を機能的に示すブロック図である。図１、２に示すように、入力装置３００は、入力面３１０と、動き検出部３２０と、ＲＯＭ３３０と、ＲＡＭ３４０と、記憶部３６０と、ＣＰＵ３５０とを備えている。
【００２３】
入力面３１０は、液晶パネルのような表示装置と、タッチパッドのような位置入力装置とを組み合わせたタッチパネルであり、使用者によって触れられた位置の情報を検出する。入力面３１０は、入力装置３００のケース上部の全面に亘って配置されている。
【００２４】
図３は、動き検出部３２０について説明するための説明図である。図１に示すように、動き検出部３２０は、複数のカメラ３２１と、複数の赤外ＬＥＤ（Light Emitting Diode）３２２とで構成され、使用者の指の動きを検出する。ここで「指の動き」とは、ｘ方向、ｙ方向、ｚ方向（図３）で表される３次元的な指ＦＧの動きを意味する。指ＦＧの動きを検出するために、動き検出部３２０は、複数の赤外ＬＥＤ３２２から出射した光を使用者の指に投写し、その反射光を複数のカメラ３２１を用いて撮影する。なお、動き検出部３２０による指ＦＧの動きの検出が可能な範囲を、検出可能範囲ＳＡと呼ぶ。また、本実施形態では、動き検出部３２０は、２つのカメラと、３つの赤外ＬＥＤとを備える。動き検出部３２０は、入力装置３００のケースに内蔵されている。
【００２５】
ＣＰＵ３５０は、記憶部３６０に格納されているコンピュータープログラムを読みだして実行することにより、制御部３５１として機能する。制御部３５１は、ヘッドマウントディスプレイ１００の操作制御部１４２と協働することで、後述する入力処理を実行する。また、制御部３５１は、以下のａ１〜ａに示す機能を実現する。
（ａ１）制御部３５１は、ヘッドマウントディスプレイ１００とペアリングを行う。制御部３５１は、ペアリングしたヘッドマウントディスプレイ１００の情報を記憶部３６０に記憶させ、以降、他のヘッドマウントディスプレイ１００との間における機能ａ２の実行や入力処理の実行を遮断する。
（ａ２）制御部３５１は、ペアリングしたヘッドマウントディスプレイ１００のステータスを入力面３１０に表示する。ステータスとは、例えば、メール着信の有無、電話着信の有無、バッテリー残量、ヘッドマウントディスプレイ１００において実行されているアプリケーションの状態等である。
【００２６】
記憶部３６０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。
【００２７】
Ａ−３．頭部装着型表示装置の構成：
図４は、ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。図１に示すように、ヘッドマウントディスプレイ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。画像表示部２０と制御部１０とは、接続部４０によって接続され、接続部４０を介して各種信号の伝送を行う。接続部４０には、金属ケーブルや光ファイバーを採用することができる。
【００２８】
Ａ−３−１．制御部の構成：
制御部１０は、ヘッドマウントディスプレイ１００を制御し、また、入力装置３００と通信するための装置である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。
【００２９】
入力情報取得部１１０は、例えば、タッチパッド、十字キー、フットスイッチ（使用者の足により操作するスイッチ）、ジェスチャー検出（カメラ等を用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得する）、視線検出（赤外線センサー等を用いて使用者の視線を検出し、視線の動きに対応付けられたコマンドによる操作入力を取得する）、マイクロホン等の入力デバイスに対する操作入力に応じた信号を取得する。なお、ジェスチャー検出の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者が手に持つ道具等を動き検出のための目印にしてもよい。フットスイッチ、視線検出、マイクロホンによる操作入力を取得することとすれば、使用者が手を用いて操作することが困難な現場（例えば、医療現場、建設業や製造業などの手元作業を必要とする現場など）において、ヘッドマウントディスプレイ１００が使用される場合の、使用者の利便性を大きく向上させることができる。
【００３０】
記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、所定の無線通信規格（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。外部装置とは、ヘッドマウントディスプレイ１００以外の他の機器を意味し、図１に示した入力装置３００のほか、タブレット、パーソナルコンピューター、ゲーム端末、ＡＶ（Audio Video）端末、家電製品等がある。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ヘッドマウントディスプレイ１００の使用者の現在位置を検出し、使用者の現在位置情報を表す現在位置情報を生成する。なお、現在位置情報は、例えば緯度経度を表す座標によって実現することができる。
【００３１】
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、操作制御部１４２、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。
【００３２】
図５は、仮想操作部について説明するための説明図である。操作制御部１４２（図４）は、入力装置３００と協働することによって、入力処理を実行する。入力処理において操作制御部１４２は、使用者がヘッドマウントディスプレイ１００を操作するための仮想的な操作部（以降「仮想操作部」とも呼ぶ。）ＶＯを、虚像ＶＩとして使用者に視認させる。図示のように本実施形態では、使用者が視認する仮想操作部ＶＯの虚像ＶＩは、入力装置３００の入力面３１０よりも大きい。また、図示のように本実施形態では、仮想操作部ＶＯの虚像ＶＩは、虚像ＶＩのうちの少なくとも一部を入力面３１０に重畳させることができる場合、換言すれば、ヘッドマウントディスプレイ１００を装着した使用者の眼と、入力装置３００の入力面３１０とが略同一線上にある場合、に限って表示される。
【００３３】
画像処理部１６０は、操作制御部１４２や、インターフェイス１８０や、無線通信部１３２等からＯＳ１５０を介して入力される映像信号に基づいて信号を生成する。画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０における表示を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。
【００３４】
例えば、ディジタル形式の場合、ディジタルＲ信号と、ディジタルＧ信号と、ディジタルＢ信号と、クロック信号ＰＣＬＫとが同期した状態の映像信号が入力される。画像処理部１６０は、ディジタルＲ信号、ディジタルＧ信号、ディジタルＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の解像度変換処理、輝度彩度の調整などの種々の色調補正処理、キーストーン補正処理等の画像処理を実行する。その後、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを、送信部５１、５２を介して送信する。
【００３５】
アナログ形式の場合、アナログＲＧＢ信号と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとからなる映像信号が入力される。画像処理部１６０は、入力された信号から垂直同期信号ＶＳｙｎｃと水平同期信号ＨＳｙｎｃを分離し、それらの周期に応じてクロック信号ＰＣＬＫを生成する。また、画像処理部１６０は、アナログＲＧＢ信号をＡ／Ｄ変換回路等を用いてディジタル信号に変換する。画像処理部１６０は、変換後のディジタルＲＧＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の画像処理を実行した後、クロック信号ＰＣＬＫと、画像データーＤａｔａと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとを、送信部５１、５２を介して送信する。なお、以降では、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。
【００３６】
表示制御部１９０は、画像表示部２０が有する右表示駆動部２２と左表示駆動部２４とを制御する制御信号を生成する。制御信号とは、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に切り替えるための信号である。表示制御部１９０は、これらの制御信号によって、右表示駆動部２２と左表示駆動部２４とにおける画像光の生成および射出を制御する。表示制御部１９０は、生成した制御信号を、送信部５１、５２を介して送信する。
【００３７】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。
【００３８】
インターフェイス１８０は、所定の有線通信規格（例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。外部装置とは、ヘッドマウントディスプレイ１００以外の他の機器を意味し、図１に示した入力装置３００のほか、タブレット、パーソナルコンピューター、ゲーム端末、ＡＶ端末、家電製品等がある。
【００３９】
Ａ−３−２．画像表示部の構成：
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６（図１）と、左光学像表示部２８（図１）と、９軸センサー６６とを含んでいる。
【００４０】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者のこめかみに対向する位置に配置されている。本実施形態における右表示駆動部２２と左表示駆動部２４とは、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）や投写光学系を用いて、画像を表す画像光を生成し射出する。
【００４１】
右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。
【００４２】
受信部５３は、送信部５１から送信されるデーターを受信する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、入力されたクロック信号ＰＣＬＫと右眼用画像データーＤａｔａ１と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。
【００４３】
左表示駆動部２４は、右表示駆動部２２とほぼ同様の構成を有し、右表示駆動部２２と同様に動作する。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
【００４４】
右光学像表示部２６と左光学像表示部２８とは、使用者が画像表示部２０を装着した際に使用者の左右の眼前にそれぞれ位置するように配置されている（図１参照）。右光学像表示部２６は、右導光板２６１と、図示しない調光板を含んでいる。右導光板２６１は、光透過性の樹脂材料等によって形成されている。右導光板２６１は、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥへ導く。右導光板２６１には、回折格子を用いても良いし半透過反射膜を用いても良い。調光板は、薄板状の光学素子であり、画像表示部２０の表側を覆うように配置されている。調光板は、右導光板２６１を保護すると共に、光透過率の調整により使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整する。なお、調光板は省略可能である。
【００４５】
左光学像表示部２８は、右光学像表示部２６とほぼ同様の構成を有し、右光学像表示部２６と同様に動作する。すなわち、左光学像表示部２８は、左導光板２６２と、図示しない調光板を含み、左表示駆動部２４から出力された画像光を、使用者の左眼ＬＥへ導く。詳細な説明は省略する。
【００４６】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００の使用者の頭部の動きを検出する頭部動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
【００４７】
図６は、使用者に視認される虚像の一例を示す説明図である。図６では、使用者の視野ＶＲを例示している。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認することができる。図６の例では、虚像ＶＩは、ヘッドマウントディスプレイ１００のＯＳの待ち受け画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のヘッドマウントディスプレイ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後の外景ＳＣとを見ることができる。また、使用者は、視野ＶＲのうち虚像ＶＩが表示されていない部分については、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを直接見ることができる。なお、本明細書において、「ヘッドマウントディスプレイ１００が画像を表示する」ことには、ヘッドマウントディスプレイ１００の使用者に対して虚像を視認させることも含む。
【００４８】
Ａ−４．配置処理：
図７、８は、入力処理の手順を示すフローチャートである。図９は、入力処理において表示される仮想操作部の一例を示す説明図である。図１０、１１は、入力処理における使用者の指の動きの変化と仮想操作部の変化との関係についての説明図である。入力処理は、図５に示すように、仮想操作部ＶＯを表す虚像ＶＩを使用者に視認させると共に、仮想操作部ＶＯを用いて使用者からの入力を取得する処理である。
【００４９】
入力処理は、ヘッドマウントディスプレイ１００の操作制御部１４２と、入力装置３００の制御部３５１とが協働することによって実行される。本実施形態における入力処理の実施条件は、仮想操作部ＶＯの虚像ＶＩを入力面３１０に重畳させることができること（すなわち、ヘッドマウントディスプレイ１００を装着した使用者の眼と、入力装置３００の入力面３１０とが略同一線上にあること）である。この実施条件は、ヘッドマウントディスプレイ１００の光学像表示部と、入力装置３００の入力面３１０とに、赤外光の受発光部を設けた上で、受光部が発光部からの赤外光を受光可能か否かによって判定することができる。なお、実施条件の判定は、操作制御部１４２が実施してもよいし、制御部３５１が実施してもよい。操作制御部１４２と制御部３５１とは、上記実施条件が満たされている間に限って、図７、８に示す入力処理を実行する。
【００５０】
図７のステップＳ１０２において制御部３５１は、入力面３１０上に使用者の指を検出したか否かを判定する。具体的には、制御部３５１は、動き検出部３２０によって検出された使用者の指の動きに基づいて、入力面３１０と使用者の指ＦＧとの間の距離Ｌ１（図３）を求める。制御部３５１は、距離Ｌ１が第１の閾値以下である場合は使用者の指を検出したと判定し、距離Ｌ１が第１の閾値より大きい場合は使用者の指を検出していないと判定する。なお、第１の閾値は任意に定めることができるが、本実施形態では、例えば２０ｍｍとする。制御部３５１は、使用者の指を検出していない場合（ステップＳ１０２：ＮＯ）、ステップＳ１０２に戻って、指を検出したか否かの判定を繰り返す。制御部３５１は、使用者の指を検出した場合（ステップＳ１０２：ＹＥＳ）、処理をステップＳ１０４へ遷移させる。
【００５１】
ステップＳ１０４において操作制御部１４２は、仮想操作部を表示する。具体的には、操作制御部１４２は、図９（Ａ）に示すようなキーボードが配置された仮想操作部ＶＯや、図９（Ｂ）に示すようなＯＳのデスクトップ画面と同じ仮想操作部ＶＯを表す画像を生成する。なお、操作制御部１４２は、仮想操作部ＶＯを生成する代わりに、外部（例えばＯＳ１５０）から取得してもよい。その後、操作制御部１４２は、生成または取得した仮想操作部ＶＯを表す画像を画像処理部１６０へ送信する。仮想操作部ＶＯを表す画像を受信した画像処理部１６０では、上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００の使用者は、視野に仮想操作部ＶＯを表す画像の虚像ＶＩを視認することができる。換言すれば、ヘッドマウントディスプレイ１００は、仮想操作部ＶＯを表示することができる。
【００５２】
ステップＳ１０６において操作制御部１４２は、指の座標を取得する。具体的には、制御部３５１が動き検出部３２０によって検出された使用者の指の動きを取得し、通信インターフェイス３７０を介してヘッドマウントディスプレイ１００へ送信する。操作制御部１４２は、無線通信部１３２を介して受信した使用者の指の動きを取得する。操作制御部１４２は、取得した使用者の指の動き、すなわち、ｘ方向、ｙ方向、ｚ方向で表される３次元的な指ＦＧの動き（図３）を、仮想操作部ＶＯ（図９）上の座標へと変換する。
【００５３】
図７のステップＳ１０８において操作制御部１４２は、使用者の指の動きに応じて、仮想操作部にポインター（指示体）を表示させる。具体的には、操作制御部１４２は、ステップＳ１０６で得られた指の座標の位置に対して、ポインターを表す画像を重畳させ、重畳後の画像を画像処理部１６０へ送信する。図１０（Ａ）は、ステップＳ１０８を経て表示される仮想操作部ＶＯを表している。図１０（Ａ）では、仮想操作部ＶＯのうち、使用者の指ＦＧの位置に対応する位置に、ポインターＰＯが表示されている。
【００５４】
図７のステップＳ１１０において操作制御部１４２は、入力面３１０に使用者の指が近接したか否かを判定する。具体的には、操作制御部１４２は、ステップＳ１０６で取得した使用者の指の動きに基づいて、入力面３１０と使用者の指ＦＧとの間の距離Ｌ１（図３）を求める。操作制御部１４２は、距離Ｌ１が第２の閾値以下である場合は使用者の指が入力面３１０に近接したと判定し、距離Ｌ１が第２の閾値より大きい場合は使用者の指が入力面３１０に近接していないと判定する。なお、第２の閾値は任意に定めることができるが、本実施形態では、例えば１０ｍｍとする。
【００５５】
使用者の指が近接していない場合（ステップＳ１１０：ＮＯ）、操作制御部１４２はステップＳ１０６に戻って、使用者の指の動きの検出と、動きに応じたポインターが配置された仮想操作部との表示を継続する。図１０（Ｂ）は、ステップＳ１０６〜Ｓ１１０（ＮＯ判定）を繰り返すことによって、使用者の指ＦＧの動きに応じたポインターＰＯが表示されている仮想操作部ＶＯの様子を表している。
【００５６】
使用者の指が近接している場合（ステップＳ１１０：ＹＥＳ）、操作制御部１４２は、入力面３１０が押下されたか否かを判定する（ステップＳ１１２）。具体的には、操作制御部１４２は、ステップＳ１０６で取得した使用者の指の動きに基づいて求めた距離Ｌ１（図１０（Ｃ））が第３の閾値以下である場合に入力面３１０が押下されたと判定し、距離Ｌ１が第３の閾値より大きい場合は入力面３１０が押下されていないと判定する。なお、第３の閾値は任意に定めることができるが、本実施形態では、例えば０ｍｍ（使用者の指が入力面３１０に接触している状態）とする。
【００５７】
入力面３１０が押下されていない場合（ステップＳ１１２：ＮＯ）、操作制御部１４２は、ステップＳ１１２へ戻って、入力面３１０の押下の監視を継続する。なお、入力面３１０の押下の監視を継続している際、操作制御部１４２は、距離Ｌ１が第２の閾値以下となった際の仮想操作部の表示を維持して、使用者の指の動きに応じた仮想操作部の表示を行わない。
【００５８】
入力面３１０が押下された場合（ステップＳ１１２：ＹＥＳ）、操作制御部１４２は、仮想操作部のポインターを、押下表示に変更する（ステップＳ１１４）。ここで、押下表示とは、ポインターの表示形態を、通常のポインターと識別可能な程度に変更することを意味する。押下表示では、例えば、ポインターの形状と、色と、装飾と、の内の少なくともいずれかを変更することができる。図１１（Ａ）は、使用者の指ＦＧにより入力面３１０が押下されている様子を表している。図１１（Ｂ）は、ステップＳ１１４によって、仮想操作部ＶＯのポインターＰＯが押下表示に変更されている様子を表している。
【００５９】
図７のステップＳ１１６において操作制御部１４２は、指の確定を検出する。具体的には、操作制御部１４２は、最後にステップＳ１０６の変換がなされた指の座標（換言すれば、仮想操作部上のポインターの座標）を、「指の確定」がされた座標位置として取得する。なお、以降では、指の確定がされた座標を「指の確定座標」とも呼ぶ。
【００６０】
ステップＳ１２０において操作制御部１４２は、指の座標が変化したか否かを判定する。具体的には、操作制御部１４２は、動き検出部３２０によって検出された使用者の指の動きを取得し、ステップＳ１０６と同様の変換を行い、仮想操作部上の指の座標を取得する。操作制御部１４２は、この座標と、ステップＳ１１６で取得した指の確定座標とを比較し、変化があるか否かを判定する。指の座標が変化していない場合（ステップＳ１２０：ＮＯ）、操作制御部１４２は、処理をステップＳ１２２へ遷移させる。指の座標が変化している場合（ステップＳ１２０：ＹＥＳ）、操作制御部１４２は、処理を図８のステップＳ１５０へ遷移させる。
【００６１】
ステップＳ１２２において操作制御部１４２は、指の確定（ステップＳ１１６）から所定時間が経過したか否かを判定する。なお、所定時間は任意に定めることができるが、本実施形態では、例えば１秒とする。所定時間が経過していない場合（ステップＳ１２２：ＮＯ）、操作制御部１４２は、処理をステップＳ１２８へ遷移させる。所定時間が経過した場合（ステップＳ１２２：ＹＥＳ）、ステップＳ１２４において操作制御部１４２は、長クリック操作の途中であるか否かを判定する。長クリック操作の途中であるか否かは、例えば、フラグを使用して管理することができる。
【００６２】
長クリック操作の途中である場合（ステップＳ１２４：ＹＥＳ）、操作制御部１４２は、処理をステップＳ１２８へ遷移させる。長クリック操作の途中でない場合（ステップＳ１２４：ＮＯ）、ステップＳ１２６において操作制御部１４２は、長クリック操作を開始する。具体的には、操作制御部１４２は、処理をステップＳ１１６へ遷移させて、最初の指の確定（ステップＳ１１６）からの経過時間をカウントする。
【００６３】
ステップＳ１２８において操作制御部１４２は、指の確定が解除されたか否かを判定する。具体的には、操作制御部１４２は、動き検出部３２０によって検出された使用者の指の動きを取得し、ステップＳ１０６と同様の変換を行い、仮想操作部上の指の座標を取得する。操作制御部１４２は、この座標とステップＳ１１６で取得した指の確定座標とを比較して変化があった場合と、取得した使用者の指の動きに基づく距離Ｌ１が第３の閾値を上回った場合と、の少なくともいずれか一方に該当する場合、指の確定が解除されたと判定する。
【００６４】
指の確定が解除されていない場合（ステップＳ１２８：ＮＯ）、操作制御部１４２は、処理をステップＳ１１６へ遷移させて、最初の指の確定（ステップＳ１１６）からの経過時間のカウントを継続する。指の確定が解除された場合（ステップＳ１２８：ＹＥＳ）、操作制御部１４２は、長クリック操作の途中であるか否かを判定する。詳細はステップＳ１２４と同様である。
【００６５】
長クリック操作の途中でない場合（ステップＳ１３０：ＮＯ）、操作制御部１４２は、使用者によってクリック操作（タップ操作）がされたと判定する（ステップＳ１３２）。操作制御部１４２は、クリック操作である旨の情報と、ステップＳ１１６で取得した指の確定座標とを、ヘッドマウントディスプレイ１００への入力として、ＯＳ１５０や、その他のアプリケーションへ送信する。長クリック操作の途中である場合（ステップＳ１２４：ＹＥＳ）、操作制御部１４２は、使用者によって長クリック操作（長タップ操作）がされたと判定する（ステップＳ１３４）。操作制御部１４２は、長クリック操作である旨の情報と、ステップＳ１１６で取得した指の確定座標とを、ヘッドマウントディスプレイ１００への入力として、ＯＳ１５０や、その他のアプリケーションへ送信する。
【００６６】
ステップＳ１３６において操作制御部１４２は、仮想操作部のポインターを通常の表示へ変更する。詳細はステップＳ１１４とほぼ同様である。ステップＳ１３８において操作制御部１４２は、指の確定が解除されたか否かを判定する。詳細はステップＳ１２８と同様である。指の確定が解除されていない場合（ステップＳ１３８：ＮＯ）、操作制御部１４２は処理をステップＳ１０６へ遷移させ、上述の処理を繰り返す。指の確定が解除された場合（ステップＳ１３８：ＹＥＳ）、ステップＳ１４０において操作制御部１４２は、仮想操作部のポインターを非表示とし、処理を終了する。
【００６７】
このように、ステップＳ１０２〜Ｓ１４０によれば、使用者の指の動きに応じた仮想操作部を使用して、クリック操作と、長クリック操作とを取得することができる。次に、図８を用いて、フリック操作とドラッグ操作の取得について説明する。
【００６８】
図８のステップＳ１５０において操作制御部１４２は、ステップＳ１２０における指の座標の変化量について判定する。指の座標の変化量が所定量より大きい場合（ステップＳ１５０：所定量より大）、ステップＳ１５２において操作制御部１４２は、フリック操作を開始させる。なお、所定量とは任意に定めることができる。
【００６９】
ステップＳ１５４において操作制御部１４２は、指の座標を取得する。詳細は図７のステップＳ１０６と同様である。ステップＳ１５６において操作制御部１４２は、使用者の指の動きに応じて、仮想操作部にポインターを表示させる。詳細は図７のステップＳ１０８と同様である。操作制御部１４２は、使用者のフリック操作に追従してポインターの位置を変えるために、ステップＳ１５４、Ｓ１５６を繰り返し実行する。そして、操作制御部１４２は、使用者の指の動きが止まった時点で、仮想操作部のポインターを押下表示に変更する。詳細はステップＳ１１４と同様である。
【００７０】
ステップＳ１５８において操作制御部１４２は、指の確定が解除されたか否かを判定する。詳細はステップＳ１２８と同様である。指の確定が解除されていない場合（ステップＳ１５８：ＮＯ）、操作制御部１４２は処理をステップＳ１５４へ遷移させ、上述の処理を繰り返す。指の確定が解除された場合（ステップＳ１５８：ＹＥＳ）、操作制御部１４２は、使用者によってフリック操作がされたと判定する（ステップＳ１６０）。操作制御部１４２は、フリック操作である旨の情報と、ステップＳ１５４で取得した一連の指の座標とを、ヘッドマウントディスプレイ１００への入力として、ＯＳ１５０や、その他のアプリケーションへ送信する。その後、操作制御部１４２は、処理をステップＳ１８０へ遷移させる。
【００７１】
ステップＳ１５０において指の座標の変化量が所定量以下である場合（ステップＳ１５０：所定量以下）、ステップＳ１６２において操作制御部１４２は、ドラッグ操作を開始させる。
【００７２】
ステップＳ１６４において操作制御部１４２は、指の座標を取得する。詳細は図７のステップＳ１０６と同様である。ステップＳ１６６において操作制御部１４２は、使用者の指の動きに応じて、仮想操作部にポインターを表示させる。詳細は図７のステップＳ１０８と同様である。操作制御部１４２は、使用者のドラッグ操作に追従してポインターの位置を変えるために、ステップＳ１６４、Ｓ１６６を繰り返し実行する。そして、操作制御部１４２は、使用者の指の動きが止まった時点で、仮想操作部のポインターを押下表示に変更する。詳細はステップＳ１１４と同様である。
【００７３】
ステップＳ１６８において操作制御部１４２は、指の確定が解除されたか否かを判定する。詳細はステップＳ１２８と同様である。指の確定が解除されていない場合（ステップＳ１６８：ＮＯ）、操作制御部１４２は処理をステップＳ１５４へ遷移させ、上述の処理を繰り返す。指の確定が解除された場合（ステップＳ１６８：ＹＥＳ）、操作制御部１４２は、使用者によってドラッグ操作がされたと判定する（ステップＳ１７０）。操作制御部１４２は、ドラッグ操作である旨の情報と、ステップＳ１６４で取得した一連の指の座標とを、ヘッドマウントディスプレイ１００への入力として、ＯＳ１５０や、その他のアプリケーションへ送信する。その後、操作制御部１４２は、処理をステップＳ１８０へ遷移させる。
【００７４】
ステップＳ１８０において操作制御部１４２は、仮想操作部のポインターを非表示とし、処理を終了する。
【００７５】
以上のように、第１実施形態によれば、操作制御部１４２は、入力装置３００の動き検出部３２０によって検出された使用者の指の動きに応じた仮想的な操作部（仮想操作部ＶＯ）を、虚像ＶＩとして使用者に視認させる。このため、ヘッドマウントディスプレイ１００（頭部装着型表示装置）とヘッドマウントディスプレイ１００を操作するための入力装置３００とを備える画像表示システム１０００において、分かり易く、かつ、ＧＵＩ（Graphical User Interface）のような高度なユーザーインターフェイスを提供することができる。
【００７６】
さらに、第１実施形態の入力処理（図７、８）によれば、操作制御部１４２は、入力装置３００の動き検出部３２０によって検出された使用者の指の動きを、仮想操作部ＶＯ上のポインターＰＯ（指示体）の座標変化へと変換することで、検出された指の動きに応じた仮想操作部ＶＯを生成することができる。
【００７７】
さらに、図５に示すように、第１実施形態の入力処理（図７、８）によれば、操作制御部１４２は、入力装置３００が備える入力面３１０よりも大きな仮想操作部ＶＯの虚像ＶＩを使用者に視認させる。使用者は、入力装置３００が備える入力面３１０を用いて直接的に入力する場合と比較して、大きな画面（仮想操作部ＶＯ）を用いてヘッドマウントディスプレイ１００（頭部装着型表示装置）に対する入力を行うことができるため、使用者の使い勝手を向上させることができる。
【００７８】
さらに、第１実施形態の入力処理（図７、８）によれば、操作制御部１４２は、仮想操作部ＶＯの虚像ＶＩのうちの少なくとも一部を入力面３１０に重畳させることができる場合に限って入力処理を実行し、仮想操作部ＶＯの虚像ＶＩを使用者に視認させる。仮想操作部ＶＯの虚像ＶＩのうちの少なくとも一部を入力面３１０に重畳させることができる場合とは、すなわち、ヘッドマウントディスプレイ１００（頭部装着型表示装置）を装着した使用者の眼と、入力装置３００の入力面３１０とが略同一線上にある場合である。従って、このようにすれば、ヘッドマウントディスプレイ１００を装着した使用者が入力装置３００の入力面３１０を見た場合に限って、仮想操作部ＶＯの虚像ＶＩを使用者に視認させることができる。
【００７９】
さらに、第１実施形態の入力処理（図７、８）によれば、操作制御部１４２は、入力面３１０と使用者の指との間の距離Ｌ１が第１の閾値以下になったことをトリガーとして仮想操作部ＶＯの虚像ＶＩを使用者に視認させる（ステップＳ１０２、Ｓ１０４）。この結果、使用者は、入力装置３００の入力面３１０に指を近づける、という直観的な動作で仮想操作部ＶＯの表示を開始することができる。
【００８０】
さらに、第１実施形態の入力処理（図７、８）によれば、操作制御部１４２は、入力面３１０と使用者の指との間の距離Ｌ１が第２の閾値以下になった場合に、検出された指の動きを仮想操作部ＶＯ上のポインターＰＯ（指示体）の座標へ変換することを停止する（ステップＳ１１０、Ｓ１１２）。このため、操作制御部１４２は、使用者が入力装置３００の入力面３１０にある程度指を近づけたところで、指の動きに追従した仮想操作部ＶＯ上のポインターＰＯの座標変化を停止させることができる。また、操作制御部１４２は、入力面３１０と使用者の指との間の距離Ｌ１が、第２の閾値よりも小さい第３の閾値以下になった場合に、最後に変換がなされたポインターＰＯの座標（換言すれば、指の確定座標）をヘッドマウントディスプレイ１００（頭部装着型表示装置）への入力とする。このため、操作制御部１４２は、使用者が入力装置３００の入力面３１０にさらに指を近づけたところで、第２の閾値時点のポインターＰＯの座標を、ヘッドマウントディスプレイ１００への入力へと確定することができる。このようにすれば、画像表示システム１０００において、使用者の手ブレに伴う入力ブレの発生を低減することができる。
【００８１】
さらに、第１実施形態によれば、入力装置３００は、使用者が身に着けることが可能なウェアラブルデバイスとして構成されるため、使用者は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）と入力装置３００とを、手軽に持ち運び、いつでも使用することができる。
【００８２】
Ａ−５．配置処理のバリエーション：
以降では、図５および図７〜１１を用いて説明した配置処理のバリエーションについて説明する。以下では、上述の配置処理と異なる構成および動作を有する部分についてのみ説明する。なお、図中において上述の配置処理と同様の構成部分については先に説明した図５および図７〜１１と同様の符号を付し、その詳細な説明を省略する。
【００８３】
Ａ−５−１．第１のバリエーション：
第１のバリエーションでは、入力装置３００の入力面３１０を、仮想操作部を拡大するための拡大鏡として使用することが可能な構成について説明する。
【００８４】
図１２、１３は、入力処理の第１のバリエーションについて説明するための説明図である。第１のバリエーションは、図５および図７〜１１を用いて説明した配置処理と比較して、以下に挙げるｂ１、ｂ２の点が異なる。
【００８５】
（ｂ１）操作制御部１４２は、図７で説明した「入力処理の実施条件」を採用せず、使用者の操作、ＯＳ１５０からの要求、他のアプリケーションからの要求等に基づいて随時、仮想操作部を表す虚像を表示させる。なお、図７で説明した入力処理の実施条件とは、仮想操作部の虚像を入力面３１０に重畳させることができること（すなわち、ヘッドマウントディスプレイ１００を装着した使用者の眼と、入力装置３００の入力面３１０とが略同一線上にあること）である。この結果、図１２に示すように、使用者が入力面３１０を見ていない場合であっても、使用者の眼前には、仮想操作部ＶＯの虚像ＶＩが表示される。
【００８６】
（ｂ２）操作制御部１４２は、仮想操作部の虚像のうちの少なくとも一部が入力面３１０と重畳している場合に、重畳している部分を拡大した仮想操作部の虚像を使用者に視認させる。具体的には、操作制御部１４２は、図７、８で説明した入力処理と平行して、仮想操作部の虚像と入力面３１０との重畳を監視する。重畳を検出後、操作制御部１４２は、重畳している部分を拡大した仮想操作部の画像を生成し、画像処理部１６０へ送信する。その後、画像処理部１６０では、受信した画像に基づいて、上述の表示処理が行われる。この結果、図１３に示すように、ヘッドマウントディスプレイ１００の使用者は、仮想操作部ＶＯの虚像ＶＩと入力面３１０とが重畳している部分Ｐ１が拡大された、仮想操作部ＶＯの虚像ＶＩを視認することができる。なお、重畳している部分Ｐ１の判定は、赤外光を用いて実施してもよいし、ヘッドマウントディスプレイ１００のカメラ６１によって撮影された使用者の視線方向の画像を画像認識することで実施してもよい。
【００８７】
このように、入力処理の第１のバリエーションによれば、操作制御部１４２は、仮想操作部ＶＯの虚像ＶＩのうちの少なくとも一部が入力面３１０と重畳している場合に、重畳している部分を拡大した仮想操作部ＶＯの虚像ＶＩを使用者に視認させる。このため、使用者は、入力装置３００の入力面３１０を仮想操作部ＶＯの拡大鏡の如く使用することが可能となる。
【００８８】
Ａ−５−２．第２のバリエーション：
第２のバリエーションでは、使用者の２本の指を用いて仮想操作部の操作が可能な構成について説明する。
【００８９】
図１４は、入力処理の第２のバリエーションについて説明するための説明図である。第２のバリエーションでは、図５および図７〜１１を用いて説明した配置処理と比較して、以下に挙げるｃ１〜ｃ３の点が異なる。
【００９０】
（ｃ１）入力装置３００の動き検出部３２０は、使用者の２本（またはそれ以上でもよい）の指ＦＧ１、ＦＧ２（図１４（Ａ））の動きをそれぞれ検出する。
（ｃ２）図７のステップＳ１０２において制御部３５１は、入力面３１０上に使用者の指を２本（またはそれ以上）検出したか否かを判定する。２本以上の指を検出した場合、制御部３５１は処理を下記ｃ３へ遷移させ、１本の指を検出した場合、制御部３５１は処理を図７のステップＳ１０４へ遷移させ、使用者の指を検出していない場合、ステップＳ１０２に戻って、指を検出したか否かの判定を繰り返す。
（ｃ３）図７のステップＳ１０６において操作制御部１４２は、使用者の指ＦＧ１、ＦＧ２の座標をそれぞれ取得する。
（ｃ４）図７のステップＳ１０８において操作制御部１４２は、使用者の指ＦＧ１に対応したポインターＰＯ１と、使用者の指ＦＧ２に対応したポインターＰＯ２とを、仮想操作部ＶＯに表示させる。
【００９１】
第２のバリエーションでは、上記入力処理で説明したクリック操作（タップ操作）、長クリック操作（長タップ操作）、フリック操作、ドラッグ操作に加えて、以下ｄ１〜ｄ９に例示するような操作が可能となる。
【００９２】
（ｄ１）２本の指をスライドさせる操作によって、操作制御部１４２は、画像（例えば、仮想操作部ＶＯの一部や、コンテンツ画像等）の領域選択を行う。
（ｄ２）２本の指をスライドさせる操作によって、操作制御部１４２は、画像（例えば、仮想操作部ＶＯの一部や、コンテンツ画像等）の拡大、縮小を行う。
（ｄ３）２本の指を回転させる操作によって、操作制御部１４２は、上記ｄ１で選択された画像の回転を行う。「回転させる操作」であるか否かは、一の指と、他の指との動きの大きさによって判定可能である。回転方向は、２点の指の座標変化によって決定可能である。なお、この場合、操作制御部１４２は、指の回転速度や、指の回転回数に応じて画像の回転角度を決定してもよい。
【００９３】
（ｄ４）２本の指で画像（例えば、仮想操作部ＶＯや、ウィンドウを表す画像等）をつまむフィンガーチップ操作によって、操作制御部１４２は、画像のドラッグ移動や、３次元的な奥行を含む回転移動を行う。なお、フィンガーチップ操作とは、図１４（Ｂ）に示すように画像の端をつまむ操作を意味する。なお、この場合、操作制御部１４２は、動き検出部３２０に指の接触圧力の大きさを検出させ、検出された接触圧力の大きさに応じて回転移動の方向を決定してもよい。
（ｄ５）２本の指で画像（例えば、仮想操作部ＶＯや、ウィンドウを表す画像等）をつまむフィンガーチップ操作によって、操作制御部１４２は、フィンガーチップ操作がされた場所に予め割り当てられているコマンド（機能）を実行する。なお、場所に対するコマンドの割り当ては、例えば、以下のようにして実現可能である。
・仮想操作部の枠周辺にポインターが移動したことをトリガーとして、操作制御部１４２は、命令入力モードへ遷移する。
・命令入力モードにおいて、操作制御部１４２は、図１４（Ｂ）に示すメニュー一覧ＬＴ１を一時的に表示させる。
・使用者は、メニュー一覧ＬＴ１から、割り当てたいコマンドを選択する。
【００９４】
（ｄ６）２本の指を回転しながら入力面３１０にタッチする操作により、操作制御部１４２は、画像（例えば、仮想操作部ＶＯの一部や、コンテンツ画像等）の回転拡大、回転縮小を行う。「回転させる操作」であるか否かは、一の指と、他の指との動きの大きさによって判定可能である。
（ｄ７）２本の指を回転しながら仮想操作部の上下、または、左右の枠にそれぞれの指でタッチする操作により、操作制御部１４２は、画像（例えば、仮想操作部ＶＯの一部や、コンテンツ画像等）の回転拡大、回転縮小を行う。
（ｄ８）上記ｄ６またはｄ７において、操作制御部１４２は、回転方向と、２本の指の間隔の座標変化と、回転量と、のうちの少なくともいずれかを用いて、回転拡大か回転縮小かを決定する。回転方向は、２点の指の座標変化によって決定可能である。
（ｄ９）上記ｄ６またはｄ７において、操作制御部１４２は、回転速度と、回転回数と、枠との接触角度と、のうちの少なくともいずれかを用いて、回転量や拡大縮小の倍率を決定する。
【００９５】
Ａ−５−３．第３のバリエーション：
第３のバリエーションでは、入力装置３００の入力面３１０の位置を、仮想操作部において容易に判別可能とする構成について説明する。
【００９６】
図１５は、入力処理の第３のバリエーションについて説明するための説明図である。第３のバリエーションは、図５および図７〜１１を用いて説明した配置処理と比較して、以下に挙げるｅ１の点が異なる。
【００９７】
（ｅ１）図７のステップＳ１０８において操作制御部１４２は、ポインターと併せて、入力装置３００の入力面３１０の位置を表す画像（以降、「入力面画像」とも呼ぶ。）を、仮想操作部に表示させる。具体的には、操作制御部１４２は、図７のステップＳ１０６で得られた指の座標の位置に対して、ポインターを表す画像と、入力面画像と、の両方を重畳させ、重畳後の画像を画像処理部１６０へ送信する。その後、画像処理部１６０では、受信した画像に基づいて、上述の表示処理が行われる。この結果、図１５に示すように、ヘッドマウントディスプレイ１００の使用者は、入力面３１０を表す入力面画像ＥＩを含む仮想操作部ＶＯの虚像ＶＩを視認することができる。なお、入力面画像には、図１５に示す環状の画像のほか、矩形状の画像等、任意の形態の画像を採用可能である。また、入力面３１０の位置判定は、赤外光を用いて実施してもよいし、ヘッドマウントディスプレイ１００のカメラ６１によって撮影された使用者の視線方向の画像を画像認識することで実施してもよい。
【００９８】
第３のバリエーションでは、入力面画像を使用者の指で操作することによって、操作制御部１４２は、画像（例えば、仮想操作部ＶＯや、ウィンドウを表す画像等）の回転、コピー、拡大、縮小、ページ送り、等の操作を実施することができる。
【００９９】
Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
【０１００】
・変形例１：
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、画像表示システムを構成する各装置の追加・削除・変換等を行うことができる。また、画像表示システムを構成する装置のネットワーク構成の変更を行うことができる。
【０１０１】
例えば、ヘッドマウントディスプレイには、複数の入力装置が接続されてもよい。また、入力装置は、複数のヘッドマウントディスプレイの入力装置として使用可能に構成されてもよい。これらの場合、ヘッドマウントディスプレイは、接続相手方となる入力装置を識別するための識別情報を記憶しておく。同様に、入力装置は、接続相手方となるヘッドマウントディスプレイを識別するための識別情報を記憶しておく。このようにすれば、１つの入力装置を複数のヘッドマウントディスプレイで共有すること、またはその逆が可能となり、使用者における利便性を向上させることができる。
【０１０２】
例えば、上記実施形態のヘッドマウントディスプレイの操作制御部の機能の一部は、入力装置の制御部により提供されてもよい。同様に、上記実施形態の入力装置の制御部の機能の一部は、ヘッドマウントディスプレイの操作制御部により提供されてもよい。
【０１０３】
例えば、入力装置とヘッドマウントディスプレイとは、上記実施形態に例示した通信方法以外にも、種々の通信方法（無線通信／有線通信）を用いて通信することができる。
【０１０４】
・変形例２：
上記実施形態では、入力装置の構成について例示した。しかし、入力装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
【０１０５】
例えば、入力装置は、腕時計型以外の他の形態で構成されてもよい。例えば、入力装置は、リモコン型、ブレスレット型、指輪型、ブローチ型、ペンダント型、ＩＤカード型、キーホルダー型、等の種々の態様で構成されてもよい。
【０１０６】
例えば、入力装置が加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出可能な９軸センサー（モーションセンサー）を備える構成とし、制御部は、９軸センサーの検出値を用いて、動き検出部により取得された使用者の指の動きを補正してもよい。
【０１０７】
例えば、入力装置が複数の入力面を備える構成とし、動き検出部により取得された使用者の指の動きと、複数の入力面へのタッチ操作と、を組み合わせた、仮想操作部における操作を可能としてもよい。また、入力装置は、使用者から、複数の入力面のうちの一部をアクティブとし、他をスタンバイとする設定を取得可能としてもよい。
【０１０８】
例えば、入力装置がカメラを備える構成とし、仮想操作部を使用して当該カメラの機能が利用できるように構成されてもよい。
【０１０９】
例えば、動き検出部が、４つ以上の赤外ＬＥＤや３つ以上のカメラを含んでいてもよい。この場合、操作制御部は、仮想操作部を複数の領域に分割して、各領域を個別に制御（すなわち、仮想操作部に指向性を付与）してもよい。
【０１１０】
・変形例３：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
【０１１１】
上記実施形態における制御部と、画像表示部とに対する構成要素の割り振りはあくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。（ｖｉ）制御部からタッチパッドを廃し、画像表示部にタッチパッドを設けた態様。
【０１１２】
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。
【０１１３】
例えば、制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部は、上述した各種の入力デバイス（タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、マイクロホン）のほか、種々の入力デバイス（例えば、操作用スティック、キーボード、マウス等）を備えることができる。また、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
【０１１４】
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
【０１１５】
図１６は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１６（Ａ）の例では、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備え、左光学像表示部２８に代えて左光学像表示部２８ａを備えている。右光学像表示部２６ａおよび左光学像表示部２８ａは、実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め上に配置されている。図１６（Ｂ）の例では、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備え、左光学像表示部２８に代えて左光学像表示部２８ｂを備えている。右光学像表示部２６ｂおよび左光学像表示部２８ｂは、実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。
【０１１６】
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
【０１１７】
例えば、操作制御部、画像処理部、表示制御部、音声処理部等の各機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。
【０１１８】
例えば、操作制御部は、ヘッドマウントディスプレイのカメラによって撮影された使用者の視界方向の画像を画像認識して、画像内に入力装置が写っていることを認識した場合に、ヘッドマウントディスプレイのメニュー画面（機能が一覧表示された画面）を表す虚像を表示させてもよい。
【０１１９】
・変形例４：
上記実施形態では、入力処理の一例を示した。しかし、入力処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
【０１２０】
例えば、ステップＳ１１２において操作制御部は、使用者の指の動きに基づいて求めた距離Ｌ１が第３の閾値以下である場合に代えて、入力装置の入力面が叩かれた（タップされた）ことをステップＳ１１２の成立条件としてもよい。また、操作制御部は、入力装置に９軸センサーを備える場合において、９軸センサーの検出値（すなわち、入力装置の変位量）が所定の閾値を上回ったことをステップＳ１１２の成立条件としてもよい。
【０１２１】
例えば、ステップＳ１０８において操作制御部は、ポインターが仮想操作部の枠まで移動した場合に、ポインターの表示に加えて、仮想操作部の枠を強調表示させてもよい。強調表示とは、例えば、枠の太さを太くすること、枠の色を変更すること、枠を点滅表示させること等の態様を採用することができる。
【０１２２】
例えば、ステップＳ１０２において操作制御部は、ステップＳ１０２の条件（入力面上に使用者の指を検出したか否か）と共に、または、ステップＳ１０２の条件に代えて、以下に例示する条件を採用してもよい。
・入力装置の入力面の縦横の方向と、画像表示部に表示される虚像の縦横の方向とが一致する場合。なお、この「一致」とは、所定の誤差（例えば１５度以内）を許容してもよい。
・入力装置の入力面に対するタッチを検出した場合。
・入力装置にロック解除手段を設け、ロック解除を検出した場合。ロック解除手段とは、入力面への所定の操作の検出や、所定のボタン押下の検出等とすることができる。
このようにすれば、仮想操作部が表示される条件をより限定することができる。このため、誤操作等に伴って、仮想操作面が使用者の意図に反して表示されることを抑制することができる。
【０１２３】
例えば、ステップＳ１０４において操作制御部は、仮想操作部による操作入力受付モードとなったことを使用者に通知してもよい。この通知は、音や音声、振動、入力装置の入力面への表示等、種々の手段を採用することができる。このようにすれば、使用者は、仮想操作部による操作入力受付モードとなったことを知ることができるため、使用者における利便性が向上する。
【０１２４】
例えば、上記実施形態の入力処理に加えて、操作制御部は、ヘッドマウントディスプレイと入力装置とのおおよその距離Ｌ２に応じて、虚像として表示される仮想操作部の大きさを変更してもよい。例えば、操作制御部は、距離Ｌ２が大きくなる（両者が遠ざかる）につれ、仮想操作部を小さく表示してもよい。同様に、操作制御部は、距離Ｌ２が小さくなる（両者が近づく）につれ、仮想操作部を大きく表示してもよい。なお、ヘッドマウントディスプレイと入力装置とのおおよその距離は、赤外光を用いて取得してもよいし、ヘッドマウントディスプレイのカメラによって撮影された使用者の視線方向の画像を画像認識することで取得してもよい。
【０１２５】
例えば、上記実施形態の入力処理に加えて、操作制御部は、ヘッドマウントディスプレイと入力装置とのおおよその距離Ｌ２に応じて、虚像として表示される仮想操作部の範囲や態様を変更してもよい。範囲を変更する場合、例えば、操作制御部は、距離Ｌ２が大きくなる（両者が遠ざかる）につれ、仮想操作部の全体が見渡せるように広い範囲の仮想操作部を表示する。同様に、操作制御部は、距離Ｌ２が小さくなる（両者が近づく）につれ、仮想操作部の一部を拡大するように狭い範囲の仮想操作部を表示する。
【０１２６】
・変形例５：
上記実施形態では、仮想操作部の一例を示した。しかし、上記実施形態における仮想操作部の態様はあくまで一例であり、種々の変形が可能である。
【０１２７】
例えば、操作制御部は、図５や図９に示した横長形状の仮想操作部に代えて、縦長形状の仮想操作部を表示させてもよい。また、操作制御部は、図５や図９に示した二次元的な仮想操作部に代えて、三次元的な仮想操作部を表示させてもよい。三次元的な仮想操作部を表示させる場合、操作制御部は、異なる右眼用画像データーと左眼用画像データーとを画像表示部へ供給すればよい。さらに、操作制御部が表示させる仮想操作部の形状および大きさについても任意に変更が可能である。
【０１２８】
例えば、図９（Ａ）に示したキーボードが配置された仮想操作部や、図９（Ｂ）に示したＯＳのデスクトップ画面が配置された仮想操作部に代えて、操作制御部は、以下に例示する入力インターフェイスを１つ、または、複数組み合わせて配置された仮想操作部を表示させてもよい。
・十字キー
・クリックホイール（指を円形にスライドさせて入力を切り替える入力部）
・クリックホイールの外周に配置されたボタン
・手書き文字入力パッド
・オーディオ（動画）の各種操作ボタン
【０１２９】
・変形例６：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１３０】
１０…制御部
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
５１…送信部
５２…送信部
５３…受信部
６１…カメラ
６６…９軸センサー
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４２…操作制御部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…入力装置
３１０…入力面
３２０…検出部
３２１…カメラ
３２２…赤外ＬＥＤ
３５０…ＣＰＵ
３５１…制御部
３６０…記憶部
３７０…通信インターフェイス
１０００…画像表示システム
Ｄａｔａ…画像データー
Ｌ１…距離
Ｌ２…距離
ＳＡ…検出可能範囲
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＦＧ…指
ＦＧ１…指
ＦＧ２…指
ＥＩ…入力面画像
ＶＩ…虚像
ＶＯ…仮想操作部
ＰＯ…ポインター（指示体）
ＰＯ１…ポインター（指示体）
ＰＯ２…ポインター（指示体）
ＶＲ…視野
ＬＴ１…メニュー一覧
【図１】
2015090530.tif 000003
【図２】
2015090530.tif 000004
【図３】
2015090530.tif 000005
【図４】
2015090530.tif 000006
【図５】
2015090530.tif 000007
【図６】
2015090530.tif 000008
【図７】
2015090530.tif 000009
【図８】
2015090530.tif 000010
【図９】
2015090530.tif 000011
【図１０】
2015090530.tif 000012
【図１１】
2015090530.tif 000013
【図１２】
2015090530.tif 000014
【図１３】
2015090530.tif 000015
【図１４】
2015090530.tif 000016
【図１５】
2015090530.tif 000017
【図１６】
2015090530.tif 000018