(57)【要約】【課題】ユーザーの操作性を向上する。【解決手段】ＨＭＤ１００は、ユーザーの頭部に装着され、光を透過する透過型の画像表示部２０と、入力用の画像Ｍを、画像表示部２０を透過して視認されるユーザーの手と重なる位置に画像表示部２０に表示させる表示制御部１４２と、ユーザーの手に装着された筋電センサー２００の検出値を取得する取得部１４３と、取得部１４３により取得した筋電センサー２００の検出値に基づいて、画像表示部２０により表示された入力用の画像Ｍに対応する操作を検出する操作検出部１４４と、を備える。【選択図】図６
2020071587.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの頭部に装着され、光を透過する透過型の表示部と、
入力用の画像を、前記表示部を透過して視認される前記ユーザーの手と重なる位置に前記表示部に表示させる表示制御部と、
前記ユーザーの手に装着されたセンサーの検出値を取得する取得部と、
前記取得部により取得した前記センサーの検出値に基づいて、前記表示部により表示された前記入力用の画像に対応する操作を検出する操作検出部と、
を備える表示装置。
【請求項２】
前記センサーは、前記ユーザーの手首に装着された筋電センサーを含み、
前記操作検出部は、前記筋電センサーの検出値から前記ユーザーの手の動きを特定する、
請求項１に記載の表示装置。
【請求項３】
前記センサーは、前記ユーザーの手の指に装着されたジャイロセンサーを含む、
請求項２に記載の表示装置。
【請求項４】
前記入力用の画像は、複数の入力候補画像を含み、
前記操作検出部は、前記センサーの検出値に基づいて、前記複数の入力候補画像の中から１つの入力候補画像を選択する操作を検出する、
請求項１から請求項３のいずれか１項に記載の表示装置。
【請求項５】
前記入力用の画像は、前記１つの入力候補画像の選択を確定する確定画像を含み、
前記操作検出部は、前記センサーの検出値に基づいて、前記１つの入力候補画像の選択を確定する操作を検出する、
請求項４に記載の表示装置。
【請求項６】
前記複数の入力候補画像の各々は、互いに相違する文字を示し、
前記操作検出部は、前記センサーの検出値に基づいて、文字を入力する操作を検出する、
請求項４又は５に記載の表示装置。
【請求項７】
前記表示制御部は、前記ユーザーの手の位置をガイドするガイド画像を前記表示部に表示させる、
請求項４から６のいずれか１項に記載の表示装置。
【請求項８】
前記複数の入力候補画像の各々は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、
前記１つの入力候補画像を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作である、
請求項７に記載の表示装置。
【請求項９】
前記複数の入力候補画像に含まれる２つ以上の所定個数の入力候補画像は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、
前記領域を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作であり、
前記領域に対応付けられた前記所定個数の入力候補画像から前記１つの入力候補画像を選択する操作は、前記ユーザーの手の親指を所定方向に移動する操作である、
請求項７に記載の表示装置。
【請求項１０】
前記表示制御部は、前記ユーザーの手の位置をガイドするガイド画像を前記表示部に表示させる、
請求項１から９のいずれか１項に記載の表示装置。
【請求項１１】
前記表示制御部は、前記表示部を透過して視認される前記ユーザーの手の位置を追跡し、前記ユーザーの手の移動に応じて、前記入力用の画像の表示位置を調整する、
請求項１から１０のいずれか１項に記載の表示装置。
【請求項１２】
ユーザーの頭部に装着され、光を透過する透過型の表示部を備える表示装置の制御方法であって、
入力用の画像を、前記表示部を透過して視認される前記ユーザーの手と重なる位置に前記表示部に表示させる表示制御ステップと、
前記ユーザーの手に装着されたセンサーの検出値を取得する取得ステップと、
前記取得ステップにおいて取得した前記センサーの検出値に基づいて、前記表示部により表示された前記入力用の画像に対応する操作を検出する操作検出ステップと、
を含む、表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、及び、表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、ユーザーの操作を受け付ける種々のインターフェイス装置が知られている（例えば、特許文献１参照）。
例えば、特許文献１に記載のインターフェイス装置は、操作者の手に装着される。このインターフェイス装置は、操作者の一方の手の平の少なくとも一部に接触する部材と、カメラと、検出手段とを備える。カメラは、この部材の一方の手の平に対向する面とは反対側の面上に配置される。検出手段は、このカメラにより撮像された画像に基づいて、一方の手の動作を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−７３８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ユーザーの操作性を向上可能な表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成する一態様は、ユーザーの頭部に装着され、光を透過する透過型の表示部と、入力用の画像を、前記表示部を透過して視認される前記ユーザーの手と重なる位置に前記表示部に表示させる表示制御部と、前記ユーザーの手に装着されたセンサーの検出値を取得する取得部と、前記取得部により取得した前記センサーの検出値に基づいて、前記表示部により表示された前記入力用の画像に対応する操作を検出する操作検出部と、を備える表示装置である。
【０００６】
上記表示装置において、前記センサーは、前記ユーザーの手首に装着された筋電センサーを含み、前記操作検出部は、前記筋電センサーの検出値から前記ユーザーの手の動きを特定する構成であってもよい。
【０００７】
上記表示装置において、前記センサーは、前記ユーザーの手の指に装着されたジャイロセンサーを含む構成であってもよい。
【０００８】
上記表示装置において、前記入力用の画像は、複数の入力候補画像を含み、前記操作検出部は、前記センサーの検出値に基づいて、前記複数の入力候補画像の中から１つの入力候補画像を選択する操作を検出する構成であってもよい。
【０００９】
上記表示装置において、前記入力用の画像は、前記１つの入力候補画像の選択を確定する確定画像を含み、前記操作検出部は、前記センサーの検出値に基づいて、前記１つの入力候補画像の選択を確定する操作を検出する構成であってもよい。
【００１０】
上記表示装置において、前記複数の入力候補画像の各々は、互いに相違する文字を示し、前記操作検出部は、前記センサーの検出値に基づいて、文字を入力する操作を検出する構成であってもよい。
【００１１】
上記表示装置において、前記複数の入力候補画像の各々は、前記ユーザーの手の指において関節で区切られた領域に対応付けられる構成であってもよい。
【００１２】
上記表示装置において、前記複数の入力候補画像の各々は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、前記１つの入力候補画像を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作である構成であってもよい。
【００１３】
上記表示装置において、前記複数の入力候補画像に含まれる２つ以上の所定個数の入力候補画像は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、前記領域を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作であり、前記領域に対応付けられた前記所定個数の入力候補画像から前記１つの入力候補画像を選択する操作は、前記ユーザーの手の親指を所定方向に移動する操作である構成であってもよい。
【００１４】
上記表示装置において、前記表示制御部は、前記ユーザーの手の位置をガイドするガイド画像を前記表示部に表示させる構成であってもよい。
【００１５】
上記表示装置において、前記表示制御部は、前記表示部を透過して視認される前記ユーザーの手の位置を追跡し、前記ユーザーの手の移動に応じて、前記入力用の画像の表示位置を調整する構成であってもよい。
【００１６】
上記目的を達成する別の一態様は、ユーザーの頭部に装着され、光を透過する透過型の表示部を備える表示装置の制御方法であって、入力用の画像を、前記表示部を透過して視認される前記ユーザーの手と重なる位置に前記表示部に表示させる表示制御ステップと、前記ユーザーの手に装着されたセンサーの検出値を取得する取得ステップと、前記取得ステップにおいて取得した前記センサーの検出値に基づいて、前記表示部により表示された前記入力用の画像に対応する操作を検出する操作検出ステップと、を含む、表示装置の制御方法である。
【図面の簡単な説明】
【００１７】
【図１】ＨＭＤの外観構成を示す説明図。
【図２】画像表示部の光学系の構成を示す図。
【図３】画像表示部の要部構成を示す斜視図。
【図４】対象物の位置と撮像範囲との関係を示す模式図。
【図５】ＨＭＤを構成する各部の構成を示す図。
【図６】制御部の構成を示す図。
【図７】ガイド画像を示す図。
【図８】第１実施形態に係る入力候補画像を示す図。
【図９】制御部の処理を示すフローチャート。
【図１０】センサーの他の構成を示す図。
【図１１】第２実施形態に係る入力候補画像を示す図。
【図１２】入力候補画像の他の構成を示す図。
【図１３】第３実施形態に係る入力候補画像を示す図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して実施形態について説明する。
図１は、ＨＭＤ１００の外観構成を示す説明図である。
なお、実施形態は、後述にて図８及び図９を参照して説明する第１実施形態と、後述にて図１１を参照して説明する第２実施形態と、図１３を参照して説明する第３実施形態とを含む。
図１に示すように、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）１００は、いわゆるシースルー型（透過型）のＨＭＤであって、制御装置１０と、画像表示部２０とを備える。ＨＭＤ１００は、「表示装置」の一例に相当する。
制御装置１０は、平たい箱形のケース１０Ａ（筐体）を備える。ケース１０Ａは、ユーザーの操作を受け付ける各種のスイッチやトラックパッド１４等を備え、これらをユーザーが操作することによって、制御装置１０は、ＨＭＤ１００を制御する制御装置として機能する。また、ケース１０Ａは、ＨＭＤ１００を制御する機能部を内蔵する。
【００１９】
また、ＨＭＤ１００の制御装置１０は、筋電センサー２００と無線にて通信可能に接続される。筋電センサー２００は、ユーザーの手首に装着される。
筋電センサー２００は、ユーザーの指の筋肉の動きに応じて発生する電気信号を検出する。実施形態では、筋電センサー２００は、主にユーザーの親指の筋肉の動きに応じて発生する電気信号を検出する。
筋電センサー２００は、後述にて図７を参照して説明するように、ユーザーの手首に装着される。筋電センサー２００は、円筒状に形成され、その内面側に複数のセンサーが配置される。「内面側」とは、ユーザーの手首の外周面と当接する側を示す。筋電センサー２００は、複数のセンサーによって、複数の筋肉の動きを検出可能に構成される。
筋電センサー２００は、バッテリー、通信部、制御部、入出力部を備える。通信部は、例えばBluetooth（登録商標）のような無線通信によって、ＨＭＤ１００の制御装置１０との間で通信可能である。
【００２０】
画像表示部２０は、ユーザーの頭部に装着される装着体であり、実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。画像表示部２０は、「表示部」の一例に相当する。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、ユーザーの頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態においてユーザーの右側に位置する端部を端部ＥＲとし、ユーザーの左側に位置する端部を端部ＥＬとする。右保持部２１は、画像表示部２０の装着状態において、前部フレーム２７の端部ＥＲからユーザーの右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、画像表示部２０の装着状態において、端部ＥＬからユーザーの左側頭部に対応する位置まで延伸して設けられる。
【００２１】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態においてユーザーの右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態においてユーザーの左眼の眼前に位置し、左眼に画像を視認させる。
【００２２】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、ユーザーが画像表示部２０を装着する装着状態で、ユーザーの眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態でユーザーの鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０をユーザーの頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態においてユーザーの後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０をユーザーの頭部に保持できる。
【００２３】
右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態においてユーザーの右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態においてユーザーの左側頭部の近傍に位置する。
【００２４】
実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、ユーザーの眼に導く。
【００２５】
また、右導光板２６及び左導光板２８の表面に、調光機能を有する電子シェード（図示略）を設けてもよい。電子シェードは電圧を入力する端子（図示略）、及び、端子間の電圧に応じて光の透過率が変化するシェード本体（図示略）を有し、後述する制御部１４１の制御により、印加される電圧を調整可能である。電子シェードは、可視光を含む波長域全体の透過率が変化する構成であってもよいし、光の波長域により異なる透過率を有する構成であってもよい。電子シェードは、例えば、ユーザーの眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。電子シェードの光学特性を調整することにより、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。
【００２６】
画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像をユーザーに視認させることによって、画像を表示する。ユーザーの前方から、右導光板２６及び左導光板２８を透過して外光がユーザーの眼に入射する場合、ユーザーの眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に電子シェードを装着し、電子シェードの光学特性を適宜選択あるいは調整することによって、虚像の視認のし易さを調整できる。
【００２７】
カメラ６１は、画像表示部２０の前部フレーム２７に配置される。カメラ６１は、ユーザーが画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
【００２８】
カメラ６１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態におけるユーザーの視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、ユーザーの視界と重なる範囲または方向を撮像し、ユーザーが注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、実施形態では、後述するように、ユーザーが右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能なユーザーの視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１４１が備える表示制御部１４２の指示に従って撮像を実行し、撮像画像データを表示制御部１４２に出力する。表示制御部１４２については、後述にて図６を参照して説明する。
【００２９】
ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４を備える。距離センサー６４は、例えば、ユーザーにとって前方に位置する測定対象物までの距離を検出する構成とすることができ、実施形態では、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置される。この例では、画像表示部２０の装着状態において、距離センサー６４の位置は、水平方向ではユーザーの両眼のほぼ中間であり、鉛直方向ではユーザーの両眼より上である。距離センサー６４の測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。
【００３０】
距離センサー６４は、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）やレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。距離センサー６４は、制御部１４１の指示に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、制御部１４１の指示に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
【００３１】
制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの端部に設けられるコネクター４２に着脱可能に接続される。すなわち、ケース１０Ａには、接続ケーブル４０を抜き差し可能なコネクター４２が設けられ、画像表示部２０を使用する場合にコネクター４２に接続ケーブル４０が接続される。
【００３２】
接続ケーブル４０は、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。
コネクター４６は、ステレオミニプラグを接続するジャック（オーディオコネクター）であり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、コネクター４６に接続される。
【００３３】
マイク６３は、例えば図１に示すように、マイク６３の集音部がユーザーの視線方向を向くように配置され、音声を集音して、音声信号を図５に示す音声インターフェイス１８２に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００３４】
制御装置１０は、ユーザーにより操作される被操作部として、トラックパッド１４、上下キー１５、ＬＥＤ表示部１７及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。これらの被操作部は、例えば、ユーザーの手指により操作される。
【００３５】
トラックパッド１４は、ケース１０Ａの前面において、ユーザーが指を接触させる、タッチ操作を行うための領域である。トラックパッド１４は、ケース１０Ａの前面と同様の平面であってもよいが、トラックパッド１４と、それ以外の領域とをユーザーが識別できる構成であることが好ましい。例えば、トラックパッド１４の縁を示す線が印刷または凹凸により形成されてもよいし、トラックパッド１４が、トラックパッド１４の表面の触感をそれ以外の領域と異ならせる表面加工を施されてもよい。
【００３６】
制御装置１０は、ケース１０Ａの前面において、図５に示すタッチセンサー１３により、ユーザーによるトラックパッド１４への接触操作を検出できる。制御装置１０は、タッチセンサー１３が接触操作を検出した場合に、操作を検出した位置を特定する。トラックパッド１４は、トラックパッド１４における絶対位置、或いは、相対位置を入力する操作のために使用できる。
【００３７】
ケース１０Ａの前面にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は、トラックパッド１４に位置し、ＬＥＤ表示部１７の表面は、ケース１０Ａの前面における他の領域と違わない。ＬＥＤ表示部１７は、光を透過可能な透過部（図示略）を有し、透過部の直下に設置される１または複数のＬＥＤが点灯することにより、ユーザーが記号等を視認できるように、発光する。図１の例では、ＬＥＤ表示部１７のＬＥＤが点灯することにより、３つの記号△（三角形）、○（丸）、□（四角形）が現れる。
【００３８】
制御装置１０は、ＬＥＤ表示部１７に対するユーザーの手指の接触操作を、タッチセンサー１３により検出し、操作位置を特定できる。このため、例えば操作位置が、ＬＥＤ表示部１７に現れる記号のどれに対応する位置かを特定できる。従って、ＬＥＤ表示部１７はソフトウェアボタンとして機能する。例えば、ＬＥＤ表示部１７に現れる記号を、ＨＭＤ１００の機能に対応付けることで、ＬＥＤ表示部１７へのタッチ操作を当該機能に対する操作として検出できる。ＨＭＤ１００は、図１の例で、記号○（丸）をホームボタンに割り当てることができる。この場合、記号○（丸）の位置に接触操作が行われると、制御部１４１は、ホームボタンの操作を検出する。また、記号□（四角形）は履歴ボタンに割り当てることができる。この場合、記号□（四角形）の接触操作を、制御部１４１は、履歴ボタンの操作として検出する。同様に、記号△（三角形）は戻るボタンに割り当てることができる。制御部１４１は、記号△（三角形）の接触操作を、戻るボタンの操作として検出する。
【００３９】
上下キー１５は、ケース１０Ａの側面に配置され、押圧操作を検出する一対のキーを備える。上下キー１５の右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。
電源スイッチ１８は、ＨＭＤ１００の電源のオン及びオフを切り替えるスイッチである。
【００４０】
ケース１０Ａにおいて電源スイッチ１８と同じ側の側面には、図５に示すＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクター１８８が設けられる。ＵＳＢコネクター１８８は、制御装置１０を、外部の装置に接続するインターフェイスであり、実施形態ではインターフェイスの一例として、ＵＳＢ規格に準拠したコネクターを例示する。ＵＳＢコネクター１８８は、例えば、ｍｉｃｒｏＵＳＢ規格に適合する形状、及びサイズを有するコネクターであり、転送速度等の仕様は任意である。
【００４１】
制御装置１０は、図５に示すバッテリー１３２を有し、バッテリー１３２が供給する電力により制御装置１０及び画像表示部２０が動作する。バッテリー１３２への充電は、ＵＳＢコネクター１８８に対して電力を供給することにより行うことができる。ＨＭＤ１００は、制御装置１０と画像表示部２０とを取り外し、制御装置１０のみを専用の充電装置に接続することで、充電を行うことができる。
【００４２】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のためユーザーの左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。ユーザーの右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００４３】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１４１の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には図５に示す温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００４４】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、ユーザーに画像を視認させる。
【００４５】
また、ユーザーの左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００４６】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１４１の指示に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００４７】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、ユーザーに画像を視認させる。
【００４８】
この構成によれば、ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、ユーザーの右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねてユーザーの眼に入射させ、ユーザーにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００４９】
なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００５０】
図３及び図４は、画像表示部２０の要部の構成を示す図である。図３は、画像表示部２０をユーザーの頭部側から見た要部斜視図である。なお、図３では接続ケーブル４０の図示を省略する。図４は、対象物の位置とカメラ６１の撮像範囲との関係を示す模式図である。
【００５１】
図３は、画像表示部２０のユーザーの頭部に接する側、言い換えればユーザーの右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、図３では、右導光板２６及び左導光板２８の裏側が見えている。
図３では、ユーザーの右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、ユーザーには、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。
【００５２】
カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、ユーザーの両眼が向く方向、すなわちユーザーにとって前方を撮像する。図４では、カメラ６１の位置を、ユーザーの右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。カメラ６１の画角（撮像範囲）をＣで示す。なお、図４には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は、一般的なデジタルカメラと同様に上下方向にも拡がる。
【００５３】
カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。ユーザーがＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図４に示すように、ユーザーが両眼で対象物ＯＢを注視すると、ユーザーの視線は、図中の符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、ユーザーから対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時におけるユーザーから対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいしユーザーが設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。
【００５４】
また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図４の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、ユーザーが画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）と呼ぶことができる。図３に示す実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過してユーザーが視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
【００５５】
カメラ６１の画角Ｃは、ユーザーの視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくともユーザーの有効視野よりも広いことが好ましい。また、画角Ｃが、ユーザーの実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、ユーザーの安定注視野よりも広く、最も好ましくは、画角Ｃがユーザーの両眼の視野角よりも広い。
【００５６】
カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。
【００５７】
また、距離センサー６４は、右導光板２６と左導光板２８との中央において、前方を向いて配置される。例えば、距離センサー６４は、画像表示部２０の中央位置から、図４に示す対象物ＯＢのように、ユーザーの正面方向に位置する物体までの距離を検出可能に構成される。ＨＭＤ１００を装着したユーザーは、注視する方向に頭を向けるので、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、ユーザーが注視する対象までの距離を検出できる。
【００５８】
また、図３に示すように、画像表示部２０のユーザー側には内側カメラ６８が配置される。内側カメラ６８は、ユーザーの右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、ユーザーの右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、制御部１４１の指示に従って撮像を行う。制御部１４１は、内側カメラ６８の撮像画像データを解析する。例えば、制御部１４１は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、ユーザーの視線方向を特定する。また、制御部１４１は、ユーザーの視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、ユーザーの視線の移動は、ユーザーの仮想視点の移動とみることもできる。
【００５９】
また、制御部１４１は、内側カメラ６８の撮像画像データからユーザーの右眼ＲＥ及び左眼ＬＥの瞼（眼瞼）の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。実施形態では画像表示部２０が一対の内側カメラ６８、６８を備える構成を例示するが、例えば、１つの内側カメラ６８を、画像表示部２０の中央位置に設けてもよい。この場合、１つの内側カメラ６８が、右眼ＲＥ及び左眼ＬＥを撮像できる画角を有することが好ましいが、例えば、右眼ＲＥまたは左眼ＬＥの一方のみを内側カメラ６８により撮像してもよい。すなわち、右眼ＲＥまたは左眼ＬＥのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等を制御部１４１が検出する構成としてもよい。
【００６０】
また、制御部１４１は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。図４には輻輳角を符号ＰＡで示す。輻輳角ＰＡは、ユーザーが注視する対象物ＯＢまでの距離に対応する。すなわち、ユーザーが立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、ユーザーが注視する距離を求めることができる。また、ユーザーの輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。
【００６１】
輻輳角は、例えば、内側カメラ６８の撮像画像データから求めることができる。例えば、内側カメラ６８に撮像画像データから右眼ＲＥの視線方向を求め、この視線方向から、右眼ＲＥの正面方向に対する右眼ＲＥの視線方向の角度ＬＡを求める。同様に、内側カメラ６８の撮像画像データから左眼ＬＥの視線方向を求め、この視線方向に基づき、左眼ＬＥの正面方向に対する左眼ＬＥの視線方向の角度ＲＡを求める。輻輳角ＰＡは、角度ＬＡと、角度ＲＡとの和に等しく、容易に輻輳角ＰＡを求めることができる。
【００６２】
図５は、ＨＭＤ１００を構成する各部の構成を示す図である。
図５に示すように、制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置として操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。
【００６３】
メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。
【００６４】
メモリー１１８は、メインプロセッサー１４０が制御プログラムを実行する場合に、実行される制御プログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ  Ｍｕｌｔｉ  Ｍｅｄｉａ  Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。
【００６５】
メインプロセッサー１４０は、操作部１１０から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。この場合、操作部１１０は、トラックパッド１４におけるタッチ位置を示すデータを含む操作信号をメインプロセッサー１４０に出力する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０からメインプロセッサー１４０に対し、操作信号が出力される。
ＬＥＤ表示部１７は、トラックパッド１４（図３）の直下に配置されるＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
【００６６】
６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。
【００６７】
通信部１１７は、外部の機器との間で無線通信を実行する。実施形態では、通信部１１７は、筋電センサー２００と無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）含む）等の規格に準拠した無線通信を行う。
【００６８】
音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図３）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード及びデコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００６９】
外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
【００７０】
ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。ＨＭＤ１００とリモートコントローラー３５０とをＵＳＢケーブルによって接続する場合、ＵＳＢコネクター１８８が、リモートコントローラー３５０に接続される。
【００７１】
また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン及びオフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。
【００７２】
センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。
【００７３】
画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図３に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが制御装置１０に接続される。
【００７４】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。
【００７５】
ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００７６】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図３に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着するユーザーの前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図３に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００７７】
温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。
【００７８】
内側カメラ６８は、インターフェイス２１１を介して制御装置１０から入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。図３に示す一対の内側カメラ６８、６８が同時に動作してもよい。また、一対の内側カメラ６８、６８のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。
【００７９】
距離センサー６４は、インターフェイス２１１を介して制御装置１０から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置１０に出力する。図３に示す一対の距離センサー６４、６４が同時に動作してもよい。また、一対の距離センサー６４、６４のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。
【００８０】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。
【００８１】
左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５（動きセンサー）、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。
【００８２】
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００８３】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００８４】
右表示ユニット２２が備えるカメラ６１、距離センサー６４、照度センサー６５、内側カメラ６８、温度センサー２１７、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。
【００８５】
制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。
【００８６】
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。
【００８７】
図６は、制御部１４１の構成を示す図である。
図６に示すように、制御部１４１は、表示制御部１４２と、取得部１４３と、操作検出部１４４と、信号記憶部１４５と、画像記憶部１４６を備える。具体的には、メインプロセッサー１４０がメモリー１１８の制御プログラムを実行することによって、表示制御部１４２、取得部１４３及び操作検出部１４４として機能する。また、メインプロセッサー１４０がメモリー１１８の制御プログラムを実行することによって、メモリー１１８を信号記憶部１４５及び画像記憶部１４６として機能させる。
【００８８】
表示制御部１４２は、入力用の画像Ｍを、画像表示部２０を透過して視認されるユーザーの手と重なる位置に画像表示部２０に表示させる。
具体的には、表示制御部１４２は、カメラ６１によって取得される画像データに基づいて、外景に含まれるユーザーの手の位置を特定する。そして、表示制御部１４２は、入力用の画像Ｍを、特定したユーザーの手の位置に重なるように、画像表示部２０に表示させる。すなわち、表示制御部１４２は、入力用の画像Ｍの表示位置を、特定したユーザーの手の位置に決定する。
また、表示制御部１４２は、画像表示部２０を透過して視認されるユーザーの手の位置を追跡し、ユーザーの手の移動に応じて、入力用の画像Ｍの表示位置を調整する。
具体的には、入力用の画像Ｍは、複数の入力候補画像ＭＮを含む。複数の入力候補画像ＭＮの各々は、互いに相違する文字を示す。複数の入力候補画像ＭＮについては、図８及び図１１を参照して詳細に説明する。
また、表示制御部１４２は、ユーザーの手の位置をガイドする第１ガイド画像ＧＬ１を画像表示部２０に表示させる。また、表示制御部１４２は、筋電センサー２００の位置をガイドする第２ガイド画像ＧＬ２を画像表示部２０に表示させる。第１ガイド画像ＧＬ１及び第２ガイド画像ＧＬ２については、図７を参照して詳細に説明する。
【００８９】
取得部１４３は、ユーザーの手に装着されたセンサーの検出値を取得する。
具体的には、取得部１４３は、ユーザーの手首に装着された筋電センサー２００の検出値を取得する。
【００９０】
信号記憶部１４５は、筋電センサー２００の検出値を記憶する。
具体的には、信号記憶部１４５は、複数の入力候補画像ＭＮの各々を選択する操作に対応する筋電センサー２００の検出値を記憶する。
信号記憶部１４５が記憶する筋電センサー２００の検出値は、例えば、事前のキャリブレーションによって得られる。例えば、筋電センサー２００の検出値は、ユーザーを示す情報に対応付けて記憶する。換言すれば、筋電センサー２００の検出値は、ユーザー毎に記憶する。
また、信号記憶部１４５に記憶する筋電センサー２００の検出値は、ユーザーが筋電センサー２００を適正な位置に装着した状態で、繰り返し検出される。そして、その平均値が、信号記憶部１４５に記憶される。また、平均値に替えて、筋電センサー２００の検出値の範囲を信号記憶部１４５に記憶してもよい。
【００９１】
画像記憶部１４６は、表示制御部１４２が表示する画像を記憶する。具体的には、画像記憶部１４６は、複数の入力候補画像ＭＮ、第１ガイド画像ＧＬ１、第２ガイド画像ＧＬ２等の画像を記憶する。
【００９２】
操作検出部１４４は、取得部１４３により取得した筋電センサー２００の検出値に基づいて、画像表示部２０により表示された入力用の画像Ｍに対応する操作を検出する。
具体的には、操作検出部１４４は、筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
更に具体的には、操作検出部１４４は、筋電センサー２００の検出値と信号記憶部１４５に記憶された筋電センサー２００の検出値とに基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
【００９３】
図７は、ガイド画像ＧＬを示す図である。
図７には、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。視野領域ＡＲ１は、右導光板２６を透過した外光と、左導光板２８を透過した外光とによって、使用者が認識可能な実空間の景色の範囲を示す。換言すれば、視野領域ＡＲ１は、ＨＭＤ１００を装着した使用者の視野の範囲を示す。視野領域ＡＲ１には、ユーザーの右手ＨＰが含まれる。また、ユーザーの右手ＨＰの手首の位置ＰＳ１には、筋電センサー２００が装着されている。
画像領域ＡＲ２は、右導光板２６により導かれた画像光と、左導光板２８により導かれた画像光とによって、使用者が認識可能な画像の範囲を示す。換言すれば、画像領域ＡＲ２は、ＨＭＤ１００を装着した使用者が認識可能な画像の範囲を示す。画像領域ＡＲ２には、第１ガイド画像ＧＬ１と第２ガイド画像ＧＬ２とが含まれる。
【００９４】
第１ガイド画像ＧＬ１は、ユーザーの手の位置をガイドする。具体的には、第１ガイド画像ＧＬ１は、ユーザーの右手ＨＰを実空間において配置すべき位置を示す。図７に示すように、ユーザーの右手ＨＰは、第１ガイド画像ＧＬ１が示す位置に配置されている。
第２ガイド画像ＧＬ２は、筋電センサー２００によって適正な電気信号を検出するための筋電センサー２００のユーザーの右手ＨＰの手首への装着位置を示す。図７では、第２ガイド画像ＧＬ２は、実空間における筋電センサー２００の位置を示す位置ＰＳ１よりも手のひらに近い。
このように、筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なっていない場合には、表示制御部１４２は、第２ガイド画像ＧＬ２を点滅表示する。
また、ユーザーは、筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なるように、筋電センサー２００を手のひらに近付ける必要がある。
【００９５】
なお、実施形態では、筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なっていない場合には、表示制御部１４２は、第２ガイド画像ＧＬ２を点滅表示するが、これに限定されない。筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なっていない場合には、表示制御部１４２は、第２ガイド画像ＧＬ２の表示形態を変更すればよい。例えば、表示制御部１４２は、第２ガイド画像ＧＬ２の表示色を変更してもよい。
【００９６】
＜第１実施形態＞
図８は、第１実施形態に係る入力候補画像ＭＮを示す図である。
図８には、図７と同様に、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。
画像領域ＡＲ２には、ユーザーの右手ＨＰが含まれる。また、ユーザーの右手ＨＰの手首の位置ＰＳ１には、筋電センサー２００が装着されている。
【００９７】
また、第１実施形態では、ＨＭＤ１００がユーザーＩＤの入力を受け付ける場合について説明する。図８の画像領域ＡＲ２には、ガイド画像ＧＰ１が表示される。ガイド画像ＧＰ１には、「ＩＤ：１２３＿」と表示されている。
ガイド画像ＧＰ１は、ユーザーＩＤとして、「１」の数字と、「２」の数字と、「３」の数字とが入力されていることを示す。また、ガイド画像ＧＰ１のカーソルを示す「＿」は、ユーザーＩＤとして、４個目の文字の入力を待っている状態であることを示す。
【００９８】
複数の入力候補画像ＭＮの各々は、互いに相違する文字を示す。図８に示すように、例えば、複数の入力候補画像ＭＮの各々は、「０」〜「９」の数字と、「−」の記号と、決定コマンドと、戻るコマンドとを含む。
決定コマンドは、ユーザーＩＤの入力を決定する旨のコマンドを示す。戻るコマンドは、ユーザーＩＤとして入力された文字のうち１つの文字を消去する旨のコマンドを示す。
具体的には、複数の入力候補画像ＭＮの各々は、ユーザーの右手ＨＰの指において関節で区切られた領域に対応付けられる。
更に具体的には、複数の入力候補画像ＭＮの各々は、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられる。
【００９９】
ユーザーの右手ＨＰは、親指ＦＰ１、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５を含む。
人差し指ＦＰ２は、第１関節ＦＰ２１と、第２関節ＦＰ２２と、第３関節ＦＰ２３とを含む。
人差し指ＦＰ２において、第１関節ＦＰ２１の先端側の領域には、入力候補画像Ｍ２１が表示される。入力候補画像Ｍ２１は、「１」の数字を示す。先端側は、手のひらから離間する側を示す。
すなわち、表示制御部１４２は、入力候補画像Ｍ２１を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域と重なる位置に、画像表示部２０に表示させる。
具体的には、表示制御部１４２は、カメラ６１によって取得される画像データに基づいて、外景に含まれるユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域の位置を特定する。そして、入力候補画像Ｍ２１の表示位置を、特定したユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域の位置に決定する。
なお、入力候補画像Ｍ２１は、入力用の画像Ｍの一例に相当する。また、入力候補画像Ｍ２１は、複数の入力候補画像ＭＮの一例に相当する。
また、複数の入力候補画像ＭＮに含まれる入力候補画像Ｍ２１を除く入力候補画像ＭＮについては、図８において、複数の入力候補画像ＭＮを示す参照符号ＭＮ、及び入力用の画像Ｍを示す参照符号Ｍの記載を省略している。また、図１０〜図１３の各々においても、参照符号ＭＮ及び参照符号Ｍの記載を省略している。
【０１００】
第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域には、入力候補画像Ｍ２２が表示される。入力候補画像Ｍ２２は、「５」の数字を示す。
すなわち、表示制御部１４２は、入力候補画像Ｍ２２を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域と重なる位置に、画像表示部２０に表示させる。
人差し指ＦＰ２において、第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域には、入力候補画像Ｍ２３が表示される。入力候補画像Ｍ２３は、「９」の数字を示す。
すなわち、表示制御部１４２は、入力候補画像Ｍ２３を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域と重なる位置に、画像表示部２０に表示させる。
人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域には、入力候補画像Ｍ２４が表示される。入力候補画像Ｍ２４は、「確定画像」の一例に相当する。入力候補画像Ｍ２４は、決定コマンドを示す。
すなわち、入力候補画像Ｍ２４は、ユーザーＩＤを構成する各数字及び記号の入力を確定する旨のコマンドを示す。また、入力候補画像Ｍ２４は、ユーザーＩＤを確定する旨のコマンドを示す。入力候補画像Ｍ２４は、「決定」の文字列を示す。
また、表示制御部１４２は、入力候補画像Ｍ２４を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの第３関節ＦＰ２３と近接する手のひらの領域と重なる位置に、画像表示部２０に表示させる。
【０１０１】
中指ＦＰ３は、第１関節ＦＰ３１と、第２関節ＦＰ３２と、第３関節ＦＰ３３とを含む。
中指ＦＰ３において、第１関節ＦＰ３１の先端側の領域には、入力候補画像Ｍ３１が表示される。入力候補画像Ｍ３１は、「２」の数字を示す。
中指ＦＰ３において、第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域には、入力候補画像Ｍ３２が表示される。入力候補画像Ｍ３２は、「６」の数字を示す。
中指ＦＰ３において、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域には、入力候補画像Ｍ３３が表示される。入力候補画像Ｍ３３は、「０」の数字を示す。
表示制御部１４２は、入力候補画像Ｍ３１〜入力候補画像Ｍ３３の各々を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの中指ＦＰ３において関節で区切られた領域と重なる位置に、画像表示部２０に表示させる。関節で区切られた領域は、第１関節ＦＰ３１の先端側の領域と、第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域と、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域とを含む。
【０１０２】
薬指ＦＰ４は、第１関節ＦＰ４１と、第２関節ＦＰ４２と、第３関節ＦＰ４３とを含む。
薬指ＦＰ４において、第１関節ＦＰ４１の先端側の領域には、入力候補画像Ｍ４１が表示される。入力候補画像Ｍ４１は、「３」の数字を示す。
薬指ＦＰ４において、第１関節ＦＰ４１と第２関節ＦＰ４２との間の領域には、入力候補画像Ｍ４２が表示される。入力候補画像Ｍ４２は、「７」の数字を示す。
薬指ＦＰ４において、第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域には、入力候補画像Ｍ４３が表示される。入力候補画像Ｍ４３は、「−」の記号を示す。
表示制御部１４２は、入力候補画像Ｍ４１〜入力候補画像Ｍ４３の各々を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの薬指ＦＰ４において関節で区切られた領域と重なる位置に、画像表示部２０に表示させる。関節で区切られた領域は、第１関節ＦＰ４１の先端側の領域と、第１関節ＦＰ４１と第２関節ＦＰ４２との間の領域と、第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域とを含む。
【０１０３】
小指ＦＰ５は、第１関節ＦＰ５１と、第２関節ＦＰ５２と、第３関節ＦＰ５３とを含む。
小指ＦＰ５において、第１関節ＦＰ５１の先端側の領域には、入力候補画像Ｍ５１が表示される。入力候補画像Ｍ５１は、「４」の数字を示す。
小指ＦＰ５において、第１関節ＦＰ５１と第２関節ＦＰ５２との間の領域には、入力候補画像Ｍ５２が表示される。入力候補画像Ｍ５２は、「８」の数字を示す。
小指ＦＰ５において、第２関節ＦＰ５２と第３関節ＦＰ５３との間の領域には、入力候補画像Ｍ５３が表示される。入力候補画像Ｍ５３は、ユーザーＩＤとして入力された文字のうち１つの文字を消去する旨のコマンドを示す。入力候補画像Ｍ５３は、「戻」の文字を示す。
表示制御部１４２は、入力候補画像Ｍ５１及び入力候補画像Ｍ５２の各々を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの小指ＦＰ５において関節で区切られた領域と重なる位置に、画像表示部２０に表示させる。関節で区切られた領域は、第１関節ＦＰ５１の先端側の領域と、第１関節ＦＰ５１と第２関節ＦＰ５２との間の領域と、第２関節ＦＰ５２と第３関節ＦＰ５３との間の領域とを含む。
【０１０４】
操作検出部１４４は、筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
具体的には、１つの入力候補画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々における関節で区切られた領域に押圧する操作である。
換言すれば、１つの入力候補画像ＭＡを選択するジェスチャーは、ユーザーの右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々における関節で区切られた領域に押圧するジェスチャーである。
このジェスチャーは、筋電センサー２００の検出値に基づいて操作検出部１４４によって検出されるため、一般的なジェスチャーと区別できるように、「筋電ジェスチャー」と記載してもよい。
ユーザーの右手ＨＰの親指ＦＰ１は、第１関節ＦＰ１１と、第２関節ＦＰ１２とを含む。親指ＦＰ１において、第１関節ＦＰ１１の先端側の領域には、ガイド画像Ｍ１が表示される。ガイド画像Ｍ１は、例えば丸印「〇」の記号を示す。
ガイド画像Ｍ１は、第１関節ＦＰ１１の先端側の領域を、関節で区切られた領域に押圧する操作に押圧する操作によって、１つの入力候補画像ＭＡを選択することを示す。
【０１０５】
例えば、「１」の数字を示す入力候補画像Ｍ２１を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域に押圧する操作を行う。
また、例えば、「６」の数字を示す入力候補画像Ｍ３２を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、中指ＦＰ３の第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域に押圧する操作を行う。
また、例えば、「−」の記号を示す入力候補画像Ｍ４３を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、薬指ＦＰ４の第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域に押圧する操作を行う。
また、例えば、決定コマンドを示す入力候補画像Ｍ２４を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域に押圧する操作を行う。
【０１０６】
また、操作検出部１４４は、取得部１４３により取得した筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
複数の入力候補画像ＭＮは、「０」〜「９」の数字と、「−」の記号と、決定コマンドと、戻るコマンドを含む。具体的には、複数の入力候補画像ＭＮは、入力候補画像Ｍ２１〜入力候補画像Ｍ２４、入力候補画像Ｍ３１〜入力候補画像Ｍ３３、入力候補画像Ｍ４１〜入力候補画像Ｍ４３、及び入力候補画像Ｍ５１〜入力候補画像Ｍ５３に対応する。すなわち、複数の入力候補画像ＭＮは、図８に示す１３個の入力候補画像ＭＮを示す。操作検出部１４４は、取得部１４３により取得した筋電センサー２００の検出値に基づいて、１３個の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
【０１０７】
信号記憶部１４５には、１３個の入力候補画像ＭＮの各々を選択する操作に対応する筋電センサー２００の検出値を記憶する。
信号記憶部１４５に記憶する筋電センサー２００の検出値は、ユーザーが筋電センサー２００を適正な位置に装着した状態で、ユーザー毎に、且つ１３個の入力候補画像ＭＮの各々を選択する操作毎に繰り返し検出される。そして、その平均値が、１３個の入力候補画像ＭＮの各々を選択する操作に対応付けて信号記憶部１４５に記憶される。また、平均値に替えて、筋電センサー２００の検出値の範囲を信号記憶部１４５に記憶してもよい。
【０１０８】
操作検出部１４４は、筋電センサー２００の検出値と、信号記憶部１４５に記憶された筋電センサー２００の検出値とに基づいて、１３個の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域に押圧する操作を示す場合には、操作検出部１４４は、入力候補画像Ｍ２１を選択する操作を検出する。
また、例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、中指ＦＰ３の第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域に押圧する操作を示す場合には、操作検出部１４４は、以下の処理を行う。すなわち、操作検出部１４４は、入力候補画像Ｍ３２を選択する操作を検出する。
また、例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、薬指ＦＰ４の第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域に押圧する操作を示す場合には、操作検出部１４４は、以下の処理を行う。すなわち、操作検出部１４４は、入力候補画像Ｍ４３を選択する操作を検出する。
また、例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域に押圧する操作を示す場合には、操作検出部１４４は、以下の処理を行う。すなわち、操作検出部１４４は、入力候補画像Ｍ２４を選択する操作を検出する。
【０１０９】
このようにして、操作検出部１４４が、筋電センサー２００の検出値と、信号記憶部１４５に記憶された筋電センサー２００の検出値とに基づいて、１３個の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。その結果、ユーザーＩＤが入力される。
【０１１０】
図９は、制御部１４１の処理を示すフローチャートである。なお、第１実施形態では、ユーザーの右手ＨＰが、第１ガイド画像ＧＬ１が示す位置に配置されている場合について説明する。
図９に示すように、まず、ステップＳ１０１において、表示制御部１４２が、ガイド画像ＧＬを表示する。ガイド画像ＧＬは、ユーザーの右手ＨＰの位置をガイドする第１ガイド画像ＧＬ１と、筋電センサー２００の位置をガイドする第２ガイド画像ＧＬ２とを含む。
次に、ステップＳ１０３において、表示制御部１４２は、第２ガイド画像ＧＬ２に基づいて、筋電センサー２００が装着されている位置ＰＳ１が適切であるか否かを判定する。
筋電センサー２００が装着されている位置ＰＳ１が適切であると表示制御部１４２が判定した場合（ステップＳ１０３でＹＥＳ）には、処理がステップＳ１０７に進む。筋電センサー２００が装着されている位置ＰＳ１が適切ではないと表示制御部１４２が判定した場合（ステップＳ１０３でＮＯ）には、処理がステップＳ１０５に進む。
そして、ステップＳ１０５において、ユーザーが、筋電センサー２００が装着されている位置ＰＳ１を修正する。換言すれば、表示制御部１４２は、筋電センサー２００が装着されている位置ＰＳ１が適切でないことを検出し、第２ガイド画像ＧＬ２を点滅表示する。そして、表示制御部１４２は、筋電センサー２００が装着されている位置ＰＳ１が修正されたことを検出する。その後、処理がステップＳ１０３に戻る。
【０１１１】
ステップＳ１０３でＹＥＳの場合には、ステップＳ１０７において、表示制御部１４２は、ユーザーの右手ＨＰが画像領域ＡＲ２に含まれているか否かを判定する。具体的には、表示制御部１４２は、ユーザーの右手ＨＰの全ての指と手のひらとが画像領域ＡＲ２に含まれているか否かを判定する。
ユーザーの右手ＨＰが画像領域ＡＲ２に含まれていないと表示制御部１４２が判定した場合（ステップＳ１０７でＮＯ）には、処理が待機状態になる。ユーザーの右手ＨＰが画像領域ＡＲ２に含まれていると表示制御部１４２が判定した場合（ステップＳ１０７でＹＥＳ）には、処理がステップＳ１０９に進む。
そして、ステップＳ１０９において、表示制御部１４２は、複数の入力候補画像ＭＮを画像表示部２０に表示させる。具体的には、表示制御部１４２は、複数の入力候補画像ＭＮを、画像表示部２０を透過して視認されるユーザーの右手ＨＰと重なる位置に、画像表示部２０に表示させる。
【０１１２】
次に、ステップＳ１１１において、取得部１４３が、筋電センサー２００の検出値を取得したか否かを判定する。なお、第１実施形態では、筋電センサー２００の検出値を「センサー信号」と記載する場合がある。
筋電センサー２００の検出値を取得していないと取得部１４３が判定した場合（ステップＳ１１１でＮＯ）には、処理が待機状態になる。筋電センサー２００の検出値を取得したと取得部１４３が判定した場合（ステップＳ１１１でＹＥＳ）には、処理がステップＳ１１３に進む。
そして、ステップＳ１１３において、操作検出部１４４は、筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する。
次に、ステップＳ１１５において、取得部１４３が、筋電センサー２００の検出値を取得したか否かを判定する。
筋電センサー２００の検出値を取得していないと取得部１４３が判定した場合（ステップＳ１１５でＮＯ）には、処理が待機状態になる。筋電センサー２００の検出値を取得したと取得部１４３が判定した場合（ステップＳ１１５でＹＥＳ）には、処理がステップＳ１１７に進む。
そして、ステップＳ１１７において、操作検出部１４４は、筋電センサー２００の検出値に基づいて、ステップＳ１１３で選択された１つの入力候補画像ＭＡの選択を確定し、処理が終了する。
【０１１３】
なお、ステップＳ１０９は、「表示制御ステップ」の一例に相当する。ステップＳ１１１及びステップＳ１１５の各々は、「取得ステップ」の一例に相当する。ステップＳ１１３及びステップＳ１１７の各々は、「操作検出ステップ」の一例に相当する。
【０１１４】
以上、図１〜図９を参照して説明したように、第１実施形態では、表示制御部１４２は、入力用の画像Ｍを、画像表示部２０を透過して視認されるユーザーの右手ＨＰと重なる位置に画像表示部２０に表示させる。取得部１４３は、ユーザーの右手ＨＰの手首に装着された筋電センサー２００の検出値を取得する。操作検出部１４４は、取得部１４３により取得した筋電センサー２００の検出値に基づいて、画像表示部２０により表示された入力用の画像Ｍに対応する操作を検出する。
よって、ユーザーは、入力用の画像Ｍに対応する操作を容易に実行できる。したがって、ＨＭＤ１００の操作性を向上できる。
【０１１５】
また、入力用の画像Ｍは、複数の入力候補画像ＭＮを含む。また、操作検出部１４４は、筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
よって、ユーザーは、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを容易に選択できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１１６】
また、入力用の画像Ｍは、１つの入力候補画像ＭＡの選択を確定する入力候補画像Ｍ２４を含む。入力候補画像Ｍ２４は、「確定画像」の一例に相当する。操作検出部１４４は、筋電センサー２００の検出値に基づいて、１つの入力候補画像ＭＡの選択を確定する操作を検出する。
よって、ユーザーは、１つの入力候補画像ＭＡの選択を容易に確定できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１１７】
また、複数の入力候補画像ＭＮの各々は、互いに相違する文字を示す。操作検出部１４４は、筋電センサー２００の検出値に基づいて、文字を入力する操作を検出する。
よって、ユーザーは、文字を入力する操作を容易に実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１１８】
また、複数の入力候補画像ＭＮの各々は、ユーザーの右手ＨＰの指において関節で区切られた領域に対応付けられる。
よって、ユーザーは、文字を入力する操作を更に容易に実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１１９】
また、複数の入力候補画像ＭＮの各々は、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられる。１つの入力候補画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を関節で区切られた領域に押圧する操作である。
よって、筋電センサー２００は、１つの入力候補画像ＭＡを選択する操作を正確に検出できる。また、ユーザーは、右手ＨＰだけを用いて、１つの入力候補画像ＭＡを選択する操作を実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１２０】
また、表示制御部１４２は、ユーザーの右手ＨＰの位置をガイドする第１ガイド画像ＧＬ１を画像表示部２０に表示させる。
よって、例えば、筋電センサー２００の位置をガイドする第２ガイド画像ＧＬ２を画像表示部２０に表示させることによって、ユーザーに筋電センサー２００を適正な位置に装着させることができる。したがって、１つの入力候補画像ＭＡを選択する操作を更に正確に検出できる。その結果、ＨＭＤ１００の操作性を更に向上できる。
【０１２１】
また、表示制御部１４２は、画像表示部２０を透過して視認されるユーザーの手の位置を追跡し、ユーザーの手の移動に応じて、入力用の画像Ｍの表示位置を調整する。
よって、ユーザーの手が移動した場合にも、入力用の画像Ｍを適正な位置に表示できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１２２】
なお、第１実施形態では、入力用の画像Ｍは、複数の入力候補画像ＭＮを含むが、これに限定されない。入力用の画像Ｍが、少なくとも１つの画像を含めばよい。例えば、入力用の画像Ｍが、１つの画像のみから構成されてもよい。この場合には、操作検出部１４４は、１つの画像に対する操作が行われたか否かを検出する。また、操作検出部１４４が、１つの画像に対する操作の種類を検出してもよい。
【０１２３】
また、第１実施形態では、表示制御部１４２が、ユーザーの右手ＨＰと重なる位置に入力用の画像Ｍを表示するが、これに限定されない。表示制御部１４２が、ユーザーの手と重なる位置に入力用の画像Ｍを表示すればよい。例えば、表示制御部１４２が、ユーザーの左手と重なる位置に入力用の画像Ｍを表示してもよい。また、例えば、表示制御部１４２が、ユーザーの両手と重なる位置に入力用の画像Ｍを表示してもよい。この場合には、ユーザーの右手ＨＰと重なる位置に入力用の画像Ｍを表示する場合と比較して、多数の入力候補画像ＭＮを表示できる。
【０１２４】
また、第１実施形態では、複数の入力候補画像ＭＮの各々が数字を示す場合について説明したが、これに限定されない。複数の入力候補画像ＭＮの各々が記号を示せばよい。ここで、「記号」とは、文字、数学記号、及び図形記号等を含む。文字は、アルファベット、平仮名、及びカタカナを含む。例えば、複数の入力候補画像ＭＮの各々がアルファベットのうちの１文字を示してもよい。この場合には、文章の入力が可能になる。
【０１２５】
図１０は、センサーの他の構成を示す図である。図１０に示すように、センサーが、筋電センサー２００に加えて、ジャイロセンサー２１０を含む点で第１実施形態と相違している。
以下の説明では、第１実施形態と相違する点について主に説明し、第１実施形態と同一の構成についてはその説明を省略する。
【０１２６】
ジャイロセンサー２１０は、ユーザーの右手ＨＰの親指ＦＰ１に装着される。ジャイロセンサー２１０は、親指ＦＰ１の３軸方向の角速度を検出する。
取得部１４３は、筋電センサー２００の検出値と、ジャイロセンサー２１０の検出値とを取得する。
信号記憶部１４５は、筋電センサー２００の検出値と、ジャイロセンサー２１０の検出値とを記憶する。
具体的には、信号記憶部１４５は、複数の入力候補画像ＭＮの各々を選択する操作に対応する筋電センサー２００の検出値と、複数の入力候補画像ＭＮの各々を選択する操作に対応するジャイロセンサー２１０の検出値とを記憶する。
操作検出部１４４は、筋電センサー２００の検出値と、ジャイロセンサー２１０の検出値とに基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
具体的には、操作検出部１４４は、筋電センサー２００及びジャイロセンサー２１０の検出値と、信号記憶部１４５に記憶された筋電センサー２００及びジャイロセンサー２１０の検出値とに基づいて、以下の処理を実行する。すなわち、操作検出部１４４は、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
【０１２７】
以上、図１０を参照して説明したように、実施形態では、センサーが、ユーザーの右手ＨＰの手首に装着される筋電センサー２００と、ユーザーの右手ＨＰの親指ＦＰ１に装着されるジャイロセンサー２１０とを含む。
よって、操作検出部１４４は、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を更に正確に検出できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１２８】
なお、実施形態では、センサーが、ユーザーの右手ＨＰの手首に装着される筋電センサー２００と、ユーザーの右手ＨＰの親指ＦＰ１に装着されるジャイロセンサー２１０とを含むが、これに限定されない。センサーが、親指ＦＰ１の動きを検出可能であればよい。
例えば、右手ＨＰの親指ＦＰ１に装着されるセンサーが、３軸の加速度センサーでもよいし、６軸センサーでもよい。６軸センサーは、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサーは、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
また、例えば、右手ＨＰの親指ＦＰ１以外の指にも、ジャイロセンサー２１０が装着されてもよい。具体的には、右手ＨＰの人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５にも、ジャイロセンサー２１０が装着されてもよい。
【０１２９】
＜第２実施形態＞
図１１は、第２実施形態に係る入力候補画像ＭＮを示す図である。図１１には、図７と同様に、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。
画像領域ＡＲ２には、ユーザーの右手ＨＰが含まれる。また、ユーザーの右手ＨＰの手首の位置ＰＳ１には、筋電センサー２００が装着されている。
【０１３０】
図８を参照して説明したように、第１実施形態では、ＨＭＤ１００がユーザーＩＤの入力を受け付けるのに対して、第２実施形態では、ＨＭＤ１００がアイコンの選択を受け付ける点で相違している。
図１１に示すように、画像領域ＡＲ２には、アイコン画像ＣＭとポインター画像ＰＭが表示される。
アイコン画像ＣＭは、第１アイコン画像ＣＭ１と、第２アイコン画像ＣＭ２と、第３アイコン画像ＣＭ３と、第４アイコン画像ＣＭ４と、第５アイコン画像ＣＭ５と、第６アイコン画像ＣＭ６とを含む。
【０１３１】
第１アイコン画像ＣＭ１〜第６アイコン画像ＣＭ６の各々は、各種の機能に対応付けられている。第１アイコン画像ＣＭ１〜第６アイコン画像ＣＭ６の各々の位置にポインター画像ＰＭが配置され、エンター画像Ｎ２２が選択された場合に、各種の機能が実行される。
第１アイコン画像ＣＭ１は、例えば、時刻を表示する機能に対応付けられている。第２アイコン画像ＣＭ２は、電話をかける機能に対応付けられている。第３アイコン画像ＣＭ３は、電子メールを送受信するメーラーを実行する機能に対応付けられている。第４アイコン画像ＣＭ４は、インターネットに接続するブラウザーを実行する機能に対応付けられている。第５アイコン画像ＣＭ５は、カレンダーを表示する機能に対応付けられている。第６アイコン画像ＣＭ６は、音声データを再生する再生機能に対応付けられている。
【０１３２】
ポインター画像ＰＭは、複数の入力候補画像ＭＮの各々が示す方向に移動する。具体的には、表示制御部１４２は、複数の入力候補画像ＭＮの各々が示す方向にポインター画像ＰＭを移動する。
ユーザーの右手ＨＰは、親指ＦＰ１、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５を含む。
図８と同様に、親指ＦＰ１は、第１関節ＦＰ１１と、第２関節ＦＰ１２とを含む。人差し指ＦＰ２は、第１関節ＦＰ２１と、第２関節ＦＰ２２と、第３関節ＦＰ２３とを含む。中指ＦＰ３は、第１関節ＦＰ３１と、第２関節ＦＰ３２と、第３関節ＦＰ３３とを含む。薬指ＦＰ４は、第１関節ＦＰ４１と、第２関節ＦＰ４２と、第３関節ＦＰ４３とを含む。小指ＦＰ５は、第１関節ＦＰ５１と、第２関節ＦＰ５２と、第３関節ＦＰ５３とを含む。
図１１では、親指ＦＰ１の２つの関節、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々の３つの関節に対応する参照符号の記載を省略している。
【０１３３】
複数の入力候補画像ＭＮは、右画像Ｎ２１と、左画像Ｎ４１と、上画像Ｎ３１と、下画像Ｎ３２と、エンター画像Ｎ２２とを含む。
右画像Ｎ２１は、人差し指ＦＰ２において、第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域に表示される。右画像Ｎ２１は、ポインター画像ＰＭを右方向に移動する場合に選択される。
左画像Ｎ４１は、薬指ＦＰ４において、第１関節ＦＰ４１と第２関節ＦＰ４２との間の領域に表示される。左画像Ｎ４１は、ポインター画像ＰＭを左方向に移動する場合に選択される。
上画像Ｎ３１は、中指ＦＰ３において、第１関節ＦＰ３１の先端側の領域に表示される。上画像Ｎ３１は、ポインター画像ＰＭを上方向に移動する場合に選択される。
下画像Ｎ３２は、中指ＦＰ３において、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域に表示される。下画像Ｎ３２は、ポインター画像ＰＭを下方向に移動する場合に選択される。
エンター画像Ｎ２２は、人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域に表示される。エンター画像Ｎ２２は、ポインター画像ＰＭが配置されたアイコン画像に対応する機能を実行する場合に選択される。
【０１３４】
図１１に示すように、画像領域ＡＲ２には、矢印画像ＧＱが更に配置される。矢印画像ＧＱは、上下方向については、上画像Ｎ３１と下画像Ｎ３２との間に配置され、左右方向については、右画像Ｎ２１と左画像Ｎ４１との間に配置される。
矢印画像ＧＱは、右画像Ｎ２１、左画像Ｎ４１、上画像Ｎ３１及び下画像Ｎ３２の各々の機能を示す。
【０１３５】
表示制御部１４２は、右画像Ｎ２１を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２において、第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域と重なる位置に、画像表示部２０に表示させる。
また、表示制御部１４２は、左画像Ｎ４１を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの薬指ＦＰ４において、第１関節ＦＰ４１と第２関節ＦＰ４２との間の領域と重なる位置に、画像表示部２０に表示させる。
また、表示制御部１４２は、上画像Ｎ３１を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの中指ＦＰ３において、第１関節ＦＰ３１の先端側の領域と重なる位置に、画像表示部２０に表示させる。
また、表示制御部１４２は、下画像Ｎ３２を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの中指ＦＰ３において、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域と重なる位置に、画像表示部２０に表示させる。
また、表示制御部１４２は、エンター画像Ｎ２２を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域と重なる位置に、画像表示部２０に表示させる。
【０１３６】
操作検出部１４４は、筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
具体的には、１つの入力候補画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を、関節で区切られた領域に押圧する操作である。
【０１３７】
例えば、右画像Ｎ２１を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域に押圧する操作を行う。
【０１３８】
また、操作検出部１４４は、取得部１４３により取得した筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
複数の入力候補画像ＭＮは、右画像Ｎ２１と、左画像Ｎ４１と、上画像Ｎ３１と、下画像Ｎ３２と、エンター画像Ｎ２２とで構成される。
操作検出部１４４は、取得部１４３により取得した筋電センサー２００の検出値に基づいて、５個の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
【０１３９】
信号記憶部１４５は、５個の入力候補画像ＭＮの各々を選択する操作に対応する筋電センサー２００の検出値を記憶する。
操作検出部１４４は、筋電センサー２００の検出値と、信号記憶部１４５に記憶された筋電センサー２００の検出値とに基づいて、５個の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、中指ＦＰ３の第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域に押圧する操作を示す場合には、操作検出部１４４は、以下の処理を行う。すなわち、操作検出部１４４は、下画像Ｎ３２を選択する操作を検出する。
【０１４０】
このようにして、操作検出部１４４が、筋電センサー２００の検出値と、信号記憶部１４５に記憶された筋電センサー２００の検出値とに基づいて、５個の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。その結果、第１アイコン画像ＣＭ１〜第６アイコン画像ＣＭ６の各々に対応する機能をＨＭＤ１００に実行させることができる。
【０１４１】
以上、図１１を参照して説明したように、第２実施形態に係るＨＭＤ１００では、複数の入力候補画像ＭＮが、右画像Ｎ２１と、左画像Ｎ４１と、上画像Ｎ３１と、下画像Ｎ３２とを含む。
よって、ポインター画像ＰＭをユーザーが所望する方向に移動させることができる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１４２】
また、第２実施形態に係るＨＭＤ１００では、第１アイコン画像ＣＭ１〜第６アイコン画像ＣＭ６が表示される。また、複数の入力候補画像ＭＮが、エンター画像Ｎ２２を含む。
よって、第１アイコン画像ＣＭ１〜第６アイコン画像ＣＭ６のいずれかの位置にポインター画像ＰＭを移動し、エンター画像Ｎ２２をユーザーが選択することによって、第１アイコン画像ＣＭ１〜第６アイコン画像ＣＭ６の各々に対応付けられた機能を実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１４３】
なお、第２実施形態では、アイコン画像ＣＭが６個のアイコン画像を含むが、これに限定されない。アイコン画像ＣＭが少なくとも１つのアイコン画像を含めばよい。
【０１４４】
また、第２実施形態では、ポインター画像ＰＭで第１アイコン画像ＣＭ１〜第６アイコン画像ＣＭ６のいずれかを選択するが、これに限定されない。ポインター画像ＰＭでオブジェクトを選択すればよい。例えば、複数のボタンオブジェクトが表示されており、ポインター画像ＰＭで複数のボタンオブジェクトの中から１つのボタンオブジェクトを選択してもよい。
【０１４５】
図１２は、入力候補画像ＭＮの他の構成を示す図である。
図１２に示すように、入力候補画像ＭＮが、中指ＦＰ３が左右方向に向くように配置されたユーザーの右手ＨＰに表示される点で図１１に示す入力候補画像ＭＮと相違する。
すなわち、図１１に示すユーザーの右手ＨＰは、中指ＦＰ３の先端が上方向を向くように配置されるのに対して、図１２に示すユーザーの右手ＨＰは、中指ＦＰ３の先端が左方向を向くように配置される点で相違している。
また、図１２では、入力候補画像ＭＮが、図１１に示す右画像、左画像、上画像、下画像及びエンター画像に加えて、拡大画像ＴＰ１、縮小画像ＴＰ２及び確定画像ＴＰ３を含む点で相違する。
図１２では、図１１と同様に、親指ＦＰ１の２つの関節、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々の３つの関節に対応する参照符号の記載を省略している。
以下の説明では、第２実施形態と相違する点について主に説明し、第２実施形態と同一の構成についてはその説明を省略する。
【０１４６】
図１２に示すように、複数の入力候補画像ＭＮは、右画像Ｋ３２と、左画像Ｋ３１と、上画像Ｋ２１と、下画像Ｋ４１と、エンター画像Ｋ２２とを含む。
上画像Ｋ２１は、人差し指ＦＰ２において、第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域に表示される。
左画像Ｋ３１は、中指ＦＰ３において、第１関節ＦＰ３１の先端側の領域に表示される。
右画像Ｋ３２は、中指ＦＰ３において、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域に表示される。
下画像Ｋ４１は、薬指ＦＰ４において、第１関節ＦＰ４１と第２関節ＦＰ４２との間の領域に表示される。
エンター画像Ｋ２２は、人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域に表示される。
【０１４７】
表示制御部１４２は、上画像Ｋ２１を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２において、第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域と重なる位置に、画像表示部２０に表示させる。
また、表示制御部１４２は、左画像Ｋ３１を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの中指ＦＰ３において、第１関節ＦＰ３１の先端側の領域と重なる位置に、画像表示部２０に表示させる。
また、表示制御部１４２は、右画像Ｋ３２を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの中指ＦＰ３において、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域と重なる位置に、画像表示部２０に表示させる。
また、表示制御部１４２は、エンター画像Ｋ２２を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域と重なる位置に、画像表示部２０に表示させる。
【０１４８】
拡大画像ＴＰ１、縮小画像ＴＰ２及び確定画像ＴＰ３は、ユーザーの右手ＨＰの手のひらの領域に表示される。
すなわち、表示制御部１４２は、拡大画像ＴＰ１、縮小画像ＴＰ２及び確定画像ＴＰ３は、ユーザーの右手ＨＰの手のひらの領域と重なる位置に、画像表示部２０に表示させる。
拡大画像ＴＰ１、縮小画像ＴＰ２及び確定画像ＴＰ３は、同心円状に形成される。縮小画像ＴＰ２は、確定画像ＴＰ３の外側に配置される。拡大画像ＴＰ１は、縮小画像ＴＰ２の外側に配置される。
拡大画像ＴＰ１は、アイコン画像ＣＭを拡大する場合に選択される。拡大画像ＴＰ１が選択された場合には、表示制御部１４２は、アイコン画像ＣＭを所定倍率に拡大する。所定倍率は、例えば、１．１倍である。
縮小画像ＴＰ２は、アイコン画像ＣＭを縮小する場合に選択される。縮小画像ＴＰ２が選択された場合には、表示制御部１４２は、アイコン画像ＣＭを所定倍率に縮小する。所定倍率は、例えば、０．９倍である。
確定画像ＴＰ３は、アイコン画像ＣＭの表示サイズを確定する場合に選択される。
【０１４９】
操作検出部１４４は、取得部１４３により取得した筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
複数の入力候補画像ＭＮは、右画像Ｋ３２、左画像Ｋ３１、上画像Ｋ２１、下画像Ｋ４１、エンター画像Ｋ２２、拡大画像ＴＰ１、縮小画像ＴＰ２及び確定画像ＴＰ３で構成される。
信号記憶部１４５は、８個の入力候補画像ＭＮの各々を選択する操作に対応する筋電センサー２００の検出値を記憶する。
また、操作検出部１４４は、筋電センサー２００の検出値と、信号記憶部１４５に記憶された筋電センサー２００の検出値とに基づいて、８個の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
【０１５０】
このようにして、操作検出部１４４が、筋電センサー２００の検出値と、信号記憶部１４５に記憶された筋電センサー２００の検出値とに基づいて、拡大画像ＴＰ１、縮小画像ＴＰ２及び確定画像ＴＰ３の中から１つの入力候補画像ＭＡを選択する操作を検出する。その結果、アイコン画像ＣＭの表示サイズを縮小、拡大及び確定することができる。
【０１５１】
＜第３実施形態＞
図１３は、第３実施形態に係る入力候補画像ＭＮを示す図である。図１３には、図７と同様に、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。
画像領域ＡＲ２には、ユーザーの右手ＨＰが含まれる。また、ユーザーの右手ＨＰの手首の位置ＰＳ１には、筋電センサー２００が装着されている。
【０１５２】
図８を参照して説明したように、第１実施形態では、ＨＭＤ１００が数字の入力を受け付けるのに対して、第３実施形態では、ＨＭＤ１００がアルファベット等の入力を受け付ける点で相違している。
複数の入力候補画像ＭＮの各々は、互いに相違する文字を示す。例えば、複数の入力候補画像ＭＮの各々は、「Ａ」〜「Ｚ」のアルファベットと、「＠」マークと、バックスペースコマンドと、戻るコマンドと、文字種変更コマンドと、エンターコマンドとを含む。
バックスペースコマンドは、入力した文字を１文字削除する旨のコマンドを示す。戻るコマンドは、直前に行われた１つの操作を取り消す旨のコマンドを示す。文字種変更コマンドは、入力する文字の種類を変更する旨のコマンドを示す。エンターコマンドは、入力された操作を確定する旨のコマンドを示す。
複数の入力候補画像ＭＮは、ユーザーの右手ＨＰの指において関節で区切られた領域に対応付けられる。
更に具体的には、複数の入力候補画像ＭＮは、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられる。
【０１５３】
ユーザーの右手ＨＰは、親指ＦＰ１、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５を含む。
人差し指ＦＰ２は、第１関節ＦＰ２１と、第２関節ＦＰ２２と、第３関節ＦＰ２３とを含む。中指ＦＰ３は、第１関節ＦＰ３１と、第２関節ＦＰ３２と、第３関節ＦＰ３３とを含む。薬指ＦＰ４は、第１関節ＦＰ４１と、第２関節ＦＰ４２と、第３関節ＦＰ４３とを含む。小指ＦＰ５は、第１関節ＦＰ５１と、第２関節ＦＰ５２と、第３関節ＦＰ５３とを含む。これらの関節に対応する参照符号は、図示を省略している。
【０１５４】
複数の入力候補画像ＭＮに含まれる２つ以上の所定個数の入力候補画像は、ユーザーの右手ＨＰの親指を除く各指において関節で区切られた領域に対応付けられる。
例えば、人差し指ＦＰ２において、第１関節ＦＰ２１の先端側の領域には、３つの入力候補画像Ｌ２１が表示される。３つの入力候補画像Ｌ２１は、「Ｄ」のアルファベットと、「Ｅ」のアルファベットと、「Ｆ」のアルファベットとを示す。この場合には、所定個数は「３個」である。
また、例えば、人差し指ＦＰ２において、第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域には、３つの入力候補画像Ｌ２２が表示される。３つの入力候補画像Ｌ２２は、「Ｍ」のアルファベットと、「Ｎ」のアルファベットと、「Ｏ」のアルファベットとを示す。この場合には、所定個数は「３個」である。
また、例えば、人差し指ＦＰ２において、第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域には、４つの入力候補画像Ｌ２３が表示される。４つの入力候補画像Ｌ２３は、「Ｗ」のアルファベットと、「Ｘ」のアルファベットと、「Ｙ」のアルファベットと、「Ｚ」のアルファベットとを示す。この場合には、所定個数は「４個」である。
【０１５５】
操作検出部１４４は、筋電センサー２００の検出値に基づいて、複数の入力候補画像ＭＮの中から１つの入力候補画像ＭＡを選択する操作を検出する。
具体的には、操作検出部１４４は、筋電センサー２００の検出値に基づいて、関節で区切られた領域を選択する操作と、領域に対応付けられた所定個数の入力候補画像ＭＢから１つの入力候補画像ＭＡを選択する操作とを検出する。
まず、関節で区切られた領域を選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々における関節で区切られた領域に押圧する操作である。関節で区切られた領域を選択する操作によって、複数の入力候補画像ＭＮの中から所定個数の入力候補画像ＭＢが選択される。
次に、領域に対応付けられた所定個数の入力候補画像ＭＢから１つの入力候補画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を所定方向に移動する操作である。
【０１５６】
更に、具体的には、例えば、人差し指ＦＰ２において、第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域が選択されている場合には、以下のようにして１つの入力候補画像ＭＡが選択される。
すなわち、「Ｗ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２の先端に向かう方向（上方向）に移動する操作を行う。「Ｘ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、中指ＦＰ３から離間する方向（右方向）に移動する操作を行う。「Ｙ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２の基端に向かう方向（下方向）に移動する操作を行う。「Ｚ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、中指ＦＰ３に向かう方向（左方向）に移動する操作を行う。
【０１５７】
このようにして、操作検出部１４４が、筋電センサー２００の検出値に基づいて、関節で区切られた領域を選択する操作と、領域に対応付けられた所定個数の入力候補画像ＭＢから１つの入力候補画像ＭＡを選択する操作とを検出する。したがって、ユーザーは、アルファベットを入力することができる。
【０１５８】
以上、図１３を参照して説明したように、第３実施形態では、複数の入力候補画像ＭＮに含まれる２つ以上の所定個数の入力候補画像ＭＢは、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられている。領域を選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を関節で区切られた領域に押圧する操作である。領域に対応付けられた所定個数の入力候補画像ＭＢから１つの入力候補画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を所定方向に移動する操作である。
よって、筋電センサー２００は、１つの入力候補画像ＭＡを選択する操作を正確に検出できる。また、ユーザーは、右手ＨＰだけを用いて、アルファベットのような多数の入力候補画像ＭＮから１つの入力候補画像ＭＡを選択する操作を実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。
【０１５９】
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、これに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
【０１６０】
また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。例えば、制御装置１０に代えて、ユーザーの身体、着衣、或いは、ユーザーが身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
【０１６１】
さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、制御装置１０と画像表示部２０とが一体に構成され、ユーザーの頭部に装着される構成とすることも可能である。
【０１６２】
また、上記実施形態において、ユーザーが表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部２０により表示する構成とすれば、画像表示部２０が外光を透過しなくても、ユーザーに外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に適用することも勿論可能である。
【０１６３】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、ユーザーの左眼ＬＥに対応して画像を表示する表示部と、ユーザーの右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、表示装置は、例えば、自動車や飛行機等の車両に搭載されるＨＭＤとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。この場合、ユーザーの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０１６４】
また、画像光をユーザーの眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。これに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光をユーザーの眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１６５】
また、図５、図６等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４１が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０がユーザーインターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
【符号の説明】
【０１６６】
１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示ユニット。２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、６１…カメラ、６３…マイク、１００…ＨＭＤ（表示装置）、１１０…操作部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１３０…電源部、１４０…メインプロセッサー、１４１…制御部、１４２…表示制御部、１４３…取得部、１４４…操作検出部、１４５…信号記憶部、１４６…画像記憶部、２００…筋電センサー、２１０…ジャイロセンサー、２５１…右光学系、２５２…左光学系、ＡＲ１…視野領域、ＡＲ２…画像領域、ＣＭ…アイコン画像、ＣＭ１…第１アイコン画像、ＣＭ２…第２アイコン画像、ＣＭ３…第３アイコン画像、ＣＭ４…第４アイコン画像、ＣＭ５…第５アイコン画像、ＣＭ６…第６アイコン画像、ＦＰ１…親指、ＦＰ１１…第１関節、ＦＰ１２…第２関節、ＦＰ２…人差し指、ＦＰ２１…第１関節、ＦＰ２２…第２関節、ＦＰ２３…第３関節、ＦＰ３…中指、ＦＰ３１…第１関節、ＦＰ３２…第２関節、ＦＰ３３…第３関節、ＦＰ４…薬指、ＦＰ４１…第１関節、ＦＰ４２…第２関節、ＦＰ４３…第３関節、ＦＰ５…小指、ＦＰ５１…第１関節、ＦＰ５２…第２関節、ＦＰ５３…第３関節、ＧＬ…ガイド画像、ＧＬ１…第１ガイド画像、ＧＬ２…第２ガイド画像、ＧＰ１…ガイド画像、ＧＱ…矢印画像、ＨＰ…右手、Ｋ２１…上画像、Ｋ２２…エンター画像、Ｋ３１…左画像、Ｋ３２…右画像、Ｋ４１…下画像、Ｍ…画像、Ｍ１…ガイド画像、Ｍ２１…入力候補画像、Ｍ２２…入力候補画像、Ｍ２３…入力候補画像、Ｍ２４…入力候補画像（確定画像）、Ｍ３１…入力候補画像、Ｍ３２…入力候補画像、Ｍ３３…入力候補画像、Ｍ４１…入力候補画像、Ｍ４２…入力候補画像、Ｍ４３…入力候補画像、Ｍ５１…入力候補画像、Ｍ５２…入力候補画像、Ｍ５３…入力候補画像、ＭＡ…入力候補画像、ＭＮ…入力候補画像、Ｎ２１…右画像、Ｎ２２…エンター画像、Ｎ３１…上画像、Ｎ３２…下画像、Ｎ４１…左画像、ＰＭ…ポインター画像、ＰＳ１…位置、ＴＰ１…拡大画像、ＴＰ２…縮小画像、ＴＰ３…確定画像。
【図１】
2020071587.tif 000003
【図２】
2020071587.tif 000004
【図３】
2020071587.tif 000005
【図４】
2020071587.tif 000006
【図５】
2020071587.tif 000007
【図６】
2020071587.tif 000008
【図７】
2020071587.tif 000009
【図８】
2020071587.tif 000010
【図９】
2020071587.tif 000011
【図１０】
2020071587.tif 000012
【図１１】
2020071587.tif 000013
【図１２】
2020071587.tif 000014
【図１３】
2020071587.tif 000015