(57)【要約】【課題】透過型頭部装着型表示装置において、入力を簡便に、また、精度よく実行可能な技術を提供する。【解決手段】透過型頭部装着型表示装置は、外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と、透過型頭部装着型表示装置の使用者の身体の筋肉の動きを検出する筋肉活動検出装置により検出された筋肉の動きに関する情報を取得する運動情報取得部と、取得された情報が示す筋肉の動きに基づいて予め定められたハンドジェスチャーを推定するハンドジェスチャー推定部と、推定された前記ハンドジェスチャーに応じて予め定められている入力信号を生成する入力信号生成部と、を備える。【選択図】図９
2019185531.tif 000002
【特許請求の範囲】
【請求項１】
透過型頭部装着型表示装置であって、
外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と、
前記透過型頭部装着型表示装置の使用者の身体の筋肉の動きを検出する筋肉活動検出装置により検出された前記筋肉の動きに関する情報を取得する運動情報取得部と、
取得された前記情報が示す前記筋肉の動きに基づいて予め定められたハンドジェスチャーを推定するハンドジェスチャー推定部と、
推定された前記ハンドジェスチャーに応じて予め定められている入力信号を生成する入力信号生成部と、
を備える、
透過型頭部装着型表示装置。
【請求項２】
請求項１に記載の透過型頭部装着型表示装置において、
前記運動情報取得部は、前記情報として前記筋肉の動きが生じたときの皮膚表面の電位を取得し、
前記ハンドジェスチャー推定部は、取得された前記電位の時間的変化を示す筋電波形を利用して、前記ハンドジェスチャーを推定する、
透過型頭部装着型表示装置。
【請求項３】
請求項１または請求項２に記載の透過型頭部装着型表示装置であって、
推定された前記ハンドジェスチャーを表す表示画像と、前記ハンドジェスチャーに対応する文字を表す表示画像と、のうちの少なくとも一方を表示させる表示制御部を、さらに備える、
透過型頭部装着型表示装置。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の透過型頭部装着型表示装置であって、
前記入力信号生成部は、推定された前記ハンドジェスチャーが、既に推定されているハンドジェスチャーに対応する前記入力信号の確定を示す前記ハンドジェスチャーである場合、該入力信号を出力する、
透過型頭部装着型表示装置。
【請求項５】
請求項４に記載の透過型頭部装着型表示装置であって、
前記入力信号の確定を示す前記ハンドジェスチャーは、音を鳴らす動作である、
透過型頭部装着型表示装置。
【請求項６】
請求項１から請求項３までのいずれか一項に記載の透過型頭部装着型表示装置であって、
前記入力信号生成部は、前記入力信号の確定を示すものとして予め定められた前記身体の動きが検出された場合に、前記入力信号を出力する、
透過型頭部装着型表示装置。
【請求項７】
請求項２から請求項６までのいずれか一項に記載の透過型頭部装着型表示装置であって、
表示制御部を、さらに備え、
前記運動情報取得部は、前記情報として前記筋肉の動きが生じたときの皮膚表面の電位を取得し、
前記表示制御部は、取得された前記電位を示すインジケーター画像を表示させる、
透過型頭部装着型表示装置。
【請求項８】
請求項７に記載の透過型頭部装着型表示装置であって、
前記表示制御部は、推定された前記ハンドジェスチャーが、既に推定されているハンドジェスチャーに対応する前記入力信号の確定を示す前記ハンドジェスチャーである場合、推定された前記ハンドジェスチャーが前記入力信号の確定を示す前記ハンドジェスチャーでない場合に比べて、前記インジケーター画像の表示態様を異ならせて表示させる、
透過型頭部装着型表示装置。
【請求項９】
請求項１から請求項８までのいずれか一項に記載の透過型頭部装着型表示装置であって、
さらに、撮像部を備え、
前記ハンドジェスチャー推定部は、撮像により得られた画像における前記使用者の手の形状に基づいて前記ハンドジェスチャーを推定する、
透過型頭部装着型表示装置。
【請求項１０】
外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部を備える透過型頭部装着型表示装置における表示制御方法であって、
前記透過型頭部装着型表示装置の使用者の身体の筋肉の動きを検出する筋肉活動検出装置により検出された前記筋肉の動きに関する情報を取得する工程と、
取得された前記情報が示す前記筋肉の動きに基づいて予め定められたハンドジェスチャーを推定する工程と、
推定された前記ハンドジェスチャーに応じて予め定められている入力信号を生成する工程と、
を備える、
表示制御方法。
【請求項１１】
外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部を備える透過型頭部装着型表示装置における表示制御を実現するためのコンピュータープログラムであって、
前記透過型頭部装着型表示装置の使用者の身体の筋肉の動きを検出する筋肉活動検出装置により検出された前記筋肉の動きに関する情報を取得する機能と、
取得された前記情報が示す前記筋肉の動きに基づいて予め定められたハンドジェスチャーを推定する機能と、
推定された前記ハンドジェスチャーに応じて予め定められている入力信号を生成する機能と、
をコンピューターに実現させるための、
コンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透過型頭部装着型表示装置に関する。
【背景技術】
【０００２】
頭部に装着されて使用者の視野領域内に画像等を表示する頭部装着型表示装置（ヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ、ＨＭＤ））として、装着時に表示画像とともに外界の風景を透過視認できる透過型の頭部装着型表示装置が知られている。透過型の頭部装着型表示装置を制御するための入力装置として、本体装置とは別のコントローラーが用いられる。コントローラーは、液晶ディスプレイに表示されるソフトウエアキーボードや、ボタンおよびトラックパッド等の複数の操作部を有する。ここで、従来、手の指等の指示体の動きを検出して、検出された指示体の動きに応じた処理を実行可能な技術が種々提案されている。例えば、特許文献１には、手話の動作を電気信号に変換し、かかる電気信号を音声言語に変換して出力する手話認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１１５４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
透過型の頭部装着表示装置の操作として、特許文献１のような指示体の動きや、使用者の身体の動き（ジェスチャー）を利用する場合、本体装置が備えるカメラの撮像範囲外でかかる動きが行われた場合、動きを検出できない、あるいは、検出精度が低下するおそれがあるという問題を本願発明の発明者は見出した。
【課題を解決するための手段】
【０００５】
本発明の一実施形態によれば、透過型頭部装着型表示装置が提供される。この透過型頭部装着型表示装置は、外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と；前記透過型頭部装着型表示装置の使用者の身体の筋肉の動きを検出する筋肉活動検出装置により検出された前記筋肉の動きに関する情報を取得する運動情報取得部と；取得された前記情報が示す前記筋肉の動きに基づいて予め定められたハンドジェスチャーを推定するハンドジェスチャー推定部と；推定された前記ハンドジェスチャーに応じて予め定められている入力信号を生成する入力信号生成部と；を備える。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態としての透過型頭部装着型表示装置の概略構成を示す説明図。
【図２】画像表示部が備える光学系の構成を示す要部平面図。
【図３】使用者から見た画像表示部の要部構成を示す図。
【図４】カメラの画角を説明するための図。
【図５】ＨＭＤの構成を機能的に示すブロック図。
【図６】制御装置の構成を機能的に示すブロック図。
【図７】ＨＭＤによる拡張現実感表示の一例を示す説明図。
【図８】使用者の手および腕に装着された筋電センサーを模式的に示す説明図。
【図９】文字入力処理の処理手順を示すフローチャート。
【図１０】「文字入力の開始」を示すハンドジェスチャーを模式的に示す説明図。
【図１１】「文字入力の開始」を示すハンドジェスチャーを行った場合における筋電位の時間的変化を模式的に示す説明図。
【図１２】ステップＳ１２０実行後の使用者の視界を模式的に示す説明図。
【図１３】ステップＳ１５０実行後の使用者の視界を模式的に示す説明図。
【図１４】「入力信号の確定」を示すハンドジェスチャーを模式的に示す説明図。
【図１５】「入力信号の確定」を示すハンドジェスチャーを行った場合における筋電位の時間的変化を模式的に示す説明図。
【発明を実施するための形態】
【０００７】
Ａ．実施形態：
Ａ１．透過型頭部装着型表示装置の全体構成：
図１は、本発明の実施形態としての透過型頭部装着型表示装置１００の概略構成を示す説明図である。透過型頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。
【０００８】
本実施形態において、ＨＭＤ１００の使用者は、ＨＭＤ１００を頭部に装着するとともに、腕および手に複数の筋電センサーＭＳを装着して、ＨＭＤ１００を操作し得る。図１には、複数の筋電センサーＭＳも図示している。筋電センサーＭＳは、装着された腕または指の筋肉の動きによる微弱な電気信号を検出する。ＨＭＤ１００と筋電センサーＭＳとは、後述の無線通信部１１７を介して無線接続されている。本実施形態では、後述の文字入力処理において、筋電センサーＭＳの検出結果を利用することにより使用者のハンドジェスチャーを認識し、ハンドジェスチャーに応じて予め定められている文字の入力を実行できる。筋電センサーＭＳ、ハンドジェスチャーおよび文字入力処理についての詳細な説明は、後述する。
【０００９】
ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０とを備えている。
【００１０】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する支持体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。
【００１１】
右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
【００１２】
右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００１３】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。
【００１４】
右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。
【００１５】
本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。
【００１６】
画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって、自身を透過して視認される外界の風景ともに、画像（拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。
【００１７】
このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。また、太陽光を抑制して、画像の視認性を高めることができる。また、調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
【００１８】
カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。
【００１９】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外界（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御機能部１５０（図６）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。
【００２０】
ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＨＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーは、カメラ６１と同様に、制御機能部１５０の指示に従って測距し、検出結果を制御機能部１５０へ出力する。
【００２１】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。
【００２２】
右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光Ｌを発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。
【００２３】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。
【００２４】
ＯＬＥＤ駆動回路２２５は、後述の制御機能部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。
【００２５】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。
【００２６】
左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光Ｌを発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９（図５）が実装される。また、左光学系２５２の詳細は上述の右光学系２５１と同じである。
【００２７】
以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外界の風景（実世界）が見えると共に、この外界に重なるようにして画像光Ｌによる虚像（虚像画像、ＡＲ画像）が視認される。
【００２８】
なお、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
【００２９】
図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。
【００３０】
コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。
【００３１】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
【００３２】
制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、点灯部１２と、トラックパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を用いることができる。
【００３３】
トラックパッド１４は、トラックパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。
【００３４】
図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光Ｌを照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む右導光板２６、左導光板２８の全体を透過して外界の風景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。
【００３５】
図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
【００３６】
上述のようにカメラ６１は、画像表示部２０において右側の端部ＥＲに配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外界の風景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の視線ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。
【００３７】
なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
【００３８】
本実施形態のカメラ６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
【００３９】
図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。
【００４０】
記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ  Ｍｕｌｔｉ  Ｍｅｄｉａ  Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。
【００４１】
入出力部には、トラックパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
【００４２】
センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＮＳＳレシーバー１１５は、ＧＮＳＳを構成する人工衛星から受信した航法信号に基づいて、制御装置１０の現在位置（経度・緯度）を測位する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＮＳＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。
【００４３】
インターフェイスには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェイス１８６と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェイス１９６とが含まれている。これらは、外部とのインターフェイスとして機能する。
【００４４】
無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。本実施形態において、無線通信部１１７は、筋電センサーＭＳとの間でＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行う。なお、Ｂｌｕｅｔｏｏｔｈ（登録商標）に代えて、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｆｅｌｉｃａ（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等の近接無線通信や、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ等の無線ＬＡＮであってもよい。
【００４５】
音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００４６】
外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス等の無線接続に対応したインターフェイスを採用できる。
【００４７】
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェイス回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。
【００４８】
また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。バイブレーター１９は、制御装置１０に設ける構成に換えて、画像表示部２０側、例えば、画像表示部２０の右保持部２１（テンプルの右側部分）に設ける構成としてもよい。
【００４９】
センサーハブ１９２およびＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェイス１９６を介した伝送を実行する。インターフェイス１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェイス１９６に接続される。
【００５０】
電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３（図６）への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。
【００５１】
右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１５とが実装されている。受信部２１３は、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。
【００５２】
ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。
【００５３】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００５４】
温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５（図２）に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。
【００５５】
左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。
【００５６】
６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。
【００５７】
温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５（図２）に内蔵されてもよい。詳細は温度センサー２１７と同様である。
【００５８】
右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。
【００５９】
図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に代えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
【００６０】
記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２は、設定データ格納部１２３と、コンテンツデータ格納部１２４と、ハンドジェスチャーデータ格納部１２５と、文字データ格納部１２６とを備える。設定データ格納部１２３には、ＨＭＤ１００の動作に係る各種の設定値が格納されている。例えば、設定データ格納部１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）等が格納されている。
【００６１】
コンテンツデータ格納部１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が格納されている。なお、コンテンツデータ格納部１２４には、双方向型のコンテンツのデータが格納されていてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。
【００６２】
ハンドジェスチャーデータ格納部１２５には、ハンドジェスチャーの種類と、腕および手の筋肉の動きに関する情報（以下、「運動情報」と呼ぶ）と、が予め対応づけられて格納されている。「ハンドジェスチャー」とは、腕、手全体、指先、手のひら等の腕および手の一部の動きを意味し、本実施形態では、手話で用いられる手および指の動きを意味する。また、「ハンドジェスチャーの種類」とは、例えば、手を振る、手を握る等の腕および手の動きの種類を意味し、本実施形態では、手話動作の種類を意味する。
【００６３】
また、本実施形態において、「運動情報」とは、各筋電センサーＭＳにより検出され、腕および手の筋肉の動きが生じたときの皮膚表面の電位を示す情報を意味する。なお、「筋肉の動き」とは、例えば、手を握る場合や、手に力を入れる場合における筋肉の動き、筋肉の収縮や弛緩による筋肉運動、および神経等の細胞・組織が興奮したときに生じる筋肉の微細な活動をも含む広い概念を意味する。運動情報には、所定時間の間における筋電位の時間的変化を示す筋電波形および最も大きな筋電位等を示す情報が含まれる。運動情報は、予め実験によりハンドジェスチャーの種類ごとに測定され、各ハンドジェスチャーの種類と対応づけて格納されている。ハンドジェスチャーの種類および運動情報は、後述の文字入力処理において、ＨＭＤ１００の使用者のハンドジェスチャーを推定する際に利用される。
【００６４】
文字データ格納部１２６には、ハンドジェスチャーの種類と、ハンドジェスチャーに対応する文字と、が予め対応づけられて格納されている。本実施形態において、「ハンドジェスチャーに対応する文字」とは、手話で用いられる手および指の動きに対応づけられている文字を意味し、ハンドジェスチャーの種類ごとに予め定められている。
【００６５】
制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、運動情報取得部１５３、ハンドジェスチャー推定部１５５、入力信号生成部１５７としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。
【００６６】
画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）で構成してもよい。
【００６７】
なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。
【００６８】
表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光Ｌの生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。また、表示制御部１４７は、後述の文字入力処理において、ハンドジェスチャーを表す表示画像（以下、「ハンドジェスチャー表示画像」と呼ぶ）と、ハンドジェスチャーに対応する文字を表す表示画像（以下、「文字表示画像」と呼ぶ）と、を画像表示部２０に表示させる。
【００６９】
撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。
【００７０】
入出力制御部１５１は、トラックパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を受け付ける。受け付けられた入力指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。また、入出力制御部１５１は、後述の文字入力処理において、入力信号生成部１５７により生成される入力信号を受け付ける。
【００７１】
運動情報取得部１５３は、無線通信部１１７を介して筋電センサーＭＳから上述の運動情報を取得する。
【００７２】
ハンドジェスチャー推定部１５５は、運動情報を利用してハンドジェスチャーを推定する。具体的には、ハンドジェスチャー推定部１５５は、運動情報から得られる筋電波形と、予めハンドジェスチャーデータ格納部１２５に格納されている運動情報とを照合して、ハンドジェスチャーの種類を推定する。また、ハンドジェスチャー推定部１５５は、パターン認識手法を用いて筋電波形から手および指の動きを特定し、特定された動きと、ハンドジェスチャーデータ格納部１２５に格納されているハンドジェスチャーの種類とを照合することによりハンドジェスチャーを推定してもよい。ハンドジェスチャーの推定方法についての詳細な説明は、後述する。
【００７３】
入力信号生成部１５７は、推定されたハンドジェスチャーに対応する文字の入力信号を生成し、生成された入力信号を入出力制御部１５１に出力する。本実施形態では、入力信号生成部１５７は、推定されたハンドジェスチャーが「既に推定されているハンドジェスチャーに対応する入力信号の確定」（以下、「入力信号の確定」と呼ぶ）を示すハンドジェスチャーである場合には、かかるハンドジェスチャーに対応する文字の入力信号は生成せずに、「入力信号の確定」を示すハンドジェスチャーがされる前までに既に推定されているハンドジェスチャーに対応する文字の入力信号を生成して出力する。
【００７４】
なお、本実施形態において、カメラ６１は、他の形態における撮像部の下位概念に相当する。また、筋電センサーＭＳは、他の形態における筋肉活動検出装置の下位概念に相当する。
【００７５】
Ａ２．拡張現実感表示：
図７は、ＨＭＤ１００による拡張現実感表示の一例を示す説明図である。図７では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光Ｌが使用者の網膜に結像することにより、使用者は、表示領域ＰＮ内において、表示対象の対象画像ＡＩを拡張現実感（ＡＲ）として視認する。図７に示す例では、対象画像ＡＩは、ＨＭＤ１００のＯＳのメニュー画面である。メニュー画面には、例えば、「アナログ時計」、「メッセージ」、「ミュージック」、「ナビゲーション」、「カメラ」、「ブラウザー」、「カレンダー」、「電話」の各アプリケーションプログラムを起動するためのアイコン画像が含まれる。また、右導光板２６、左導光板２８が外界からの光を透過することで、使用者は外景ＳＣを視認する。このように、本実施形態のＨＭＤ１００の使用者は、視界ＶＲのうち対象画像ＡＩが表示された部分については、外景ＳＣに重なるようにして対象画像ＡＩを見ることができる。また、視界ＶＲのうち対象画像ＡＩが表示されていない部分については、外景ＳＣだけを見ることができる。
【００７６】
図７に示すように、対象画像ＡＩ上には、ポインター画像Ｐｔが表示されている。ポインター画像Ｐｔは、使用者が対象画像ＡＩ上に表示された各メニューを選択するために用いられる。図７に示す例では、使用者は、対象画像ＡＩ上の「ブラウザー」アイコン画像にポインター画像Ｐｔをあわせることで、「ブラウザー」メニューを選択している。使用者は、この状態で、トラックパッド１４上でタップ操作等を行うことにより、「ブラウザー」メニューを実行できる。
【００７７】
Ａ３．文字入力処理：
図８は、使用者の手および腕に装着された筋電センサーＭＳを模式的に示す説明図である。図８では、使用者の手および腕を破線により、筋電センサーＭＳを実線により、それぞれ示している。図８に示すように、左手ＬＨの左腕ＬＷには、第１筋電センサーＭＳ１が装着されている。また、左手ＬＨの親指ＬＦ１には第２筋電センサーＭＳ２が、人差し指ＬＦ２には第３筋電センサーＭＳ３が、中指ＬＦ３には第４筋電センサーＭＳ４が、薬指ＬＦ４には第５筋電センサーＭＳ５が、小指ＬＦ５には第６筋電センサーＭＳ６が、それぞれ装着されている。同様に、右手ＲＨの右腕ＲＷには、第７筋電センサーＭＳ７が装着されている。また、右手ＲＨの親指ＲＦ１には第８筋電センサーＭＳ８が、人差し指ＲＦ２には第９筋電センサーＭＳ９が、中指ＲＦ３には第１０筋電センサーＭＳ１０が、薬指ＲＦ４には第１１筋電センサーＭＳ１１が、小指ＲＦ５には第１２筋電センサーＭＳ１２が、それぞれ装着されている。
【００７８】
各筋電センサーＭＳ１〜ＭＳ１２は、装着された腕または指の筋肉の動きによる微弱な電気信号を検出し、筋肉の動きが生じたときの皮膚表面の電位を検出する。筋電センサーＭＳ１およびＭＳ７は、腕輪型の筋電センサーであり、腕ＬＷおよびＲＷに対向する面に表面電極が配置されている。また、筋電センサーＭＳ２〜ＭＳ６およびＭＳ８〜ＭＳ１２は、指輪型の筋電センサーであり、指ＬＦ１〜ＬＦ５およびＲＦ１〜ＲＦ５に対向する面に表面電極が配置されている。各筋電センサーＭＳ１〜ＭＳ１２は、図示しない無線通信部を有しており、かかる無線通信部を利用して、無線通信部１１７との間でＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行って、検出した筋電位を運動情報取得部１５３に送信する。運動情報取得部１５３は、かかるＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信によって検出された筋電位を取得する。
【００７９】
図９は、文字入力処理の処理手順を示すフローチャートである。文字入力処理は、図７に示す「ブラウザー」アプリケーションが起動されると、開始される。図９に示すように、運動情報取得部１５３は、無線通信部１１７を介して各筋電センサーＭＳ１〜ＭＳ１２から運動情報を取得する（ステップＳ１００）。
【００８０】
ハンドジェスチャー推定部１５５は、取得された運動情報からハンドジェスチャーを推定し、推定されたハンドジェスチャーが「文字入力の開始」を示すハンドジェスチャーであるか否かを判定する（ステップＳ１１０）。
【００８１】
図１０は、「文字入力の開始」を示すハンドジェスチャーＳＳを模式的に示す説明図である。図１０では、図８に示す各筋電センサーＭＳ１〜ＭＳ１２の図示を省略している。図１０に示すように、本実施形態において、「文字入力の開始」を示すハンドジェスチャーＳＳは、ＨＭＤ１００の使用者の左手ＬＨおよび右手ＲＨの手の形状が予め定められた時間の間、握られた状態（日本では「グー」と呼ばれる状態）を意味する。左手ＬＨおよび右手ＲＨの手の形状が握られた状態であるか否かは、各筋電センサーＭＳ１〜ＭＳ１２により検出される筋電位が、予め定められた時間の間、所定の閾値以上検出されるか否かを判定することにより特定できる。予め定められた時間とは、１秒を意味する、なお、予め定められた時間は、１秒に代えて、他の任意の時間を設定してもよい。
【００８２】
図１１は、「文字入力の開始」を示すハンドジェスチャーＳＳを行った場合における筋電位の時間的変化を模式的に示す説明図である。図１１では、所定時間の間における各筋電センサーＭＳ１〜ＭＳ１２の検出結果から得られる筋電波形Ｅｍｇ１〜Ｅｍｇ１２をそれぞれ示している。図１１の左側には、左手ＬＨに装着されている各筋電センサーＭＳ１〜ＭＳ６の検出結果から得られる筋電波形Ｅｍｇ１〜Ｅｍｇ６を、図１１の右側には、右手ＲＨに装着されている各筋電センサーＭＳ７〜ＭＳ１２の検出結果から得られる筋電波形Ｅｍｇ７〜Ｅｍｇ１２を、それぞれ示している。
【００８３】
具体的には、図１１の左側の最上段には、左手ＬＨの左腕ＬＷに装着されている第１筋電センサーＭＳ１の筋電波形Ｅｍｇ１を示している。上から２段目には、左手ＬＨの親指ＬＦ１に装着されている第２筋電センサーＭＳ２の筋電波形Ｅｍｇ２を示している。上から３段目には、左手ＬＨの人差し指ＬＦ２に装着されている第３筋電センサーＭＳ３の筋電波形Ｅｍｇ３を示している。上から４段目には、左手ＬＨの中指ＬＦ３に装着されている第４筋電センサーＭＳ４の筋電波形Ｅｍｇ４を示している。上から５段目には、左手ＬＨの薬指ＬＦ４に装着されている第５筋電センサーＭＳ５の筋電波形Ｅｍｇ５を示している。上から６段目には、左手ＬＨの小指ＬＦ５に装着されている第６筋電センサーＭＳ６の筋電波形Ｅｍｇ６を示している。
【００８４】
また、図１１の右側の最上段には、右手ＲＨの右腕ＲＷに装着されている第７筋電センサーＭＳ７の筋電波形Ｅｍｇ７を示している。上から２段目には、右手ＲＨの親指ＲＦ１に装着されている第８筋電センサーＭＳ８の筋電波形Ｅｍｇ８を示している。上から３段目には、右手ＲＨの人差し指ＲＦ２に装着されている第９筋電センサーＭＳ９の筋電波形Ｅｍｇ９を示している。上から４段目には、右手ＲＨの中指ＲＦ３に装着されている第１０筋電センサーＭＳ１０の筋電波形Ｅｍｇ１０を示している。上から５段目には、右手ＲＨの薬指ＲＦ４に装着されている第１１筋電センサーＭＳ１１の筋電波形Ｅｍｇ１１を示している。上から６段目には、右手ＲＨの小指ＲＦ５に装着されている第１２筋電センサーＭＳ１２の筋電波形Ｅｍｇ１２を示している。
【００８５】
各筋電波形Ｅｍｇ１〜Ｅｍｇ１２において、縦軸は各筋電センサーＭＳ１〜ＭＳ１２により検出される筋電位を示し、横軸は時間を示している。各筋電波形Ｅｍｇ１〜Ｅｍｇ１２は、いずれも同様の形状を有する。具体的には、時間ｔ１の間、筋電位が第１閾値Ｔｈ１以上である。これは、「文字入力の開始」を示すハンドジェスチャーＳＳは、左手ＬＨおよび右手ＲＨがいずれも握られた状態であるために、各腕ＬＷおよびＲＷ、各指ＬＦ１〜ＬＦ５およびＲＦ１〜ＲＦ５のいずれもほぼ同じように力が加えられるためである。図１１に示す例において、上述の時間ｔ１が１秒以上であれば、「文字入力の開始」を示すハンドジェスチャーＳＳであると推定される。なお、第１閾値Ｔｈ１は、例えば、３０マイクロボルト[μＶ]である。第１閾値Ｔｈ１は、３０マイクロボルト[μＶ]に代えて、他の任意の値に設定してもよい。
【００８６】
上述のステップＳ１１０において、ハンドジェスチャー推定部１５５は、運動情報取得部１５３により取得された各筋電波形Ｅｍｇ１〜Ｅｍｇ１２の形状と、ハンドジェスチャーデータ格納部１２５に格納されている筋電波形（以下、「基準波形」と呼ぶ）の形状と、をパターンマッチングする。また、ハンドジェスチャー推定部１５５は、各筋電センサーＭＳ１〜ＭＳ１２が所定時間（１秒）以上の間、第１閾値Ｔｈ１以上の筋電位を検出したか否かを判定する。ハンドジェスチャー推定部１５５が、筋電波形に加えて、筋電位の値を見るのは、一般に、表面筋電位は数マイクロボルト［μＶ］から数１０ミリボルト［ｍＶ］の大きさであるため、誤差やノイズを検出してしまい、誤ったハンドジェスチャーを推定してしまうことを抑制するためである。なお、ハンドジェスチャー推定部１５５は、各筋電センサーＭＳ１〜ＭＳ１２の各筋電位を逐次判断してもよいし、パターンマッチングにより各筋電波形Ｅｍｇ１〜Ｅｍｇ１２の形状が基準波形の形状と一致するか否かを判断した後に各筋電位が第１閾値Ｔｈ１以上であるか否かを判断してもよい。
【００８７】
各筋電波形Ｅｍｇ１〜Ｅｍｇ１２の形状と基準波形の形状とが一致せず、または、所定時間（１秒）以上の間、第１閾値Ｔｈ１よりも大きな筋電位が検出されていない場合、ハンドジェスチャー推定部１５５は、推定されたハンドジェスチャーが「文字入力の開始」を示すハンドジェスチャーＳＳでないと判定し（ステップＳ１１０：ＮＯ）、上述のステップＳ１００が実行される。他方、各筋電波形Ｅｍｇ１〜Ｅｍｇ１２の形状と基準波形の形状とが一致し、かつ、所定時間（１秒）以上の間、第１閾値Ｔｈ１よりも大きな筋電位が検出された場合、ハンドジェスチャー推定部１５５は、推定されたハンドジェスチャーが「文字入力の開始」を示すハンドジェスチャーＳＳであると判定し（ステップＳ１１０：ＹＥＳ）、表示制御部１４７は、文字入力画面を表示させる（ステップＳ１２０）。
【００８８】
図１２は、ステップＳ１２０実行後の使用者の視界ＶＲを模式的に示す説明図である。図１２では、外景ＳＣの図示を省略している。図１２に示すように、表示領域ＰＮには、指文字表を表すモデル画像（以下、「指文字表示画像」と呼ぶ）Ｔｂが表示されている。指文字表示画像Ｔｂには、指文字と、かかる指文字に対応するテキスト文字とが予め対応づけられて表示されている。図１２に示す例では、最左列の上から下に向かって順に、テキスト文字「あ」および文字「あ」に対応する指文字、テキスト文字「い」および文字「い」に対応する指文字が表示されている。最左列の右隣、さらに右隣の列においても同様に、テキスト文字と、かかる文字に対応する指文字とが表示されている。このように指文字表示画像Ｔｂを表示させることにより、使用者は精度よくハンドジェスチャーを実行できる。
【００８９】
図９に示すように、運動情報取得部１５３は、運動情報を取得する（ステップＳ１３０）。ステップＳ１３０は、上述のステップＳ１００と同様の処理であるので、詳細な説明は省略する。ハンドジェスチャー推定部１５５は、ハンドジェスチャーを推定する（ステップＳ１４０）。具体的には、ハンドジェスチャー推定部１５５は、上述のステップＳ１１０と同様に、筋電波形をパターンマッチングすることにより、筋電波形に対応するハンドジェスチャーの種類を推定する。このとき、ハンドジェスチャー推定部１５５は、取得された各筋電位から特徴量を抽出して、手の姿勢を判別することにより、ハンドジェスチャーを絞り込んでもよい。なお、筋電位から特徴量を抽出する方法および特徴量から手の姿勢を判別する方法は、公知技術を用いて実現できる。また、ハンドジェスチャー推定部１５５は、取得された運動情報を機械学習させて、ハンドジェスチャーを推定してもよい。
【００９０】
表示制御部１４７は、推定されたハンドジェスチャー、ハンドジェスチャーに対応する文字およびインジケーターを表示させる（ステップＳ１５０）。
【００９１】
図１３は、ステップＳ１５０実行後の使用者の視界ＶＲを模式的に示す説明図である。図１３では、図１２と同様、外景ＳＣの図示を省略している。図１３に示すように、表示領域ＰＮには、ハンドジェスチャー表示画像ＨＳ１と、文字表示画像ＫＣ１と、使用者への情報を表す画像（以下、「情報画像」と呼ぶ）Ｉｎｆと、インジケーターを表す画像（以下、「インジケーター画像」と呼ぶ）ＩＧとが表示されている。
【００９２】
ハンドジェスチャー表示画像ＨＳ１は、上述のステップＳ１４０において推定されたハンドジェスチャーを表す表示画像である。図１３に示す例では、ハンドジェスチャー表示画像ＨＳ１には、文字「い」に対応するハンドジェスチャー（手話で用いられる手および指の動き）を示すモデル画像が表されている。このハンドジェスチャーは、撮像された使用者の手の画像ではなく、予め用意されている画像である。文字表示画像ＫＣ１は、ハンドジェスチャー表示画像ＨＳ１に対応する文字を表す表示画像である。図１３に示す例では、文字表示画像ＫＣ１には、「い」とテキストにより表されている。なお、ハンドジェスチャーに対応する文字は、文字データ格納部１２６を参照することにより、ハンドジェスチャーの種類から特定できる。ステップＳ１４０において、ハンドジェスチャー表示画像ＨＳ１および文字表示画像ＫＣ１を表示させることにより、運動情報から推定されたハンドジェスチャーが実際に使用者が行ったハンドジェスチャーであるか否か、また、使用者が入力を所望する文字であるか否かを使用者に認識させることができる。
【００９３】
情報画像Ｉｎｆは、使用者への指示を促す情報を表す表示画像である。図１３に示す例では、情報画像Ｉｎｆには、「あなたの入力した文字はこちらです。よろしければ、「確定」して下さい。」とテキストにより表されており、使用者に対して「確定」の入力を実行するように促している。
【００９４】
インジケーター画像ＩＧには、各筋電センサーＭＳ１〜ＭＳ１２により検出された筋電位の合計値の割合が表示されている。図１３に示す例では、インジケーター画像ＩＧは、二重の円形の形状であり、内側の円には２０％とテキスト文字で表示され、外側の円には２０％を示す部分にハッチングが付されている。インジケーター画像ＩＧを表示することにより、使用者は、所望のハンドジェスチャーが受け付けられるために、各指ＬＦ１〜ＬＦ５およびＲＦ１〜ＲＦ５について平均してあとどれぐらいの筋電位を要するかを容易に認識できる。なお、インジケーター画像ＩＧは、各筋電センサーＭＳ１〜ＭＳ１２により検出された筋電位の平均値を表示させてもよいし、各筋電センサーＭＳ１〜ＭＳ１２により検出された筋電位のうちの最大の筋電位を表示させてもよい。
【００９５】
図９に示すように、運動情報取得部１５３は、運動情報を取得する（ステップＳ１６０）。ステップＳ１６０は、上述のステップＳ１００およびステップＳ１３０と同様の処理であるので、詳細な説明は省略する。ハンドジェスチャー推定部１５５は、取得された運動情報からハンドジェスチャーを推定し、推定されたハンドジェスチャーが「入力信号の確定」を示すハンドジェスチャーであるか否かを判定する（ステップＳ１７０）。
【００９６】
図１４は、「入力信号の確定」を示すハンドジェスチャーＥＳを模式的に示す説明図である。図１４では、図１０と同様に、図８に示す各筋電センサーＭＳ１〜ＭＳ１２の図示を省略している。図１４に示すように、本実施形態において、「入力信号の確定」を示すハンドジェスチャーＥＳは、ＨＭＤ１００の使用者の右手ＲＨの手の形状が親指ＲＦ１と中指ＲＦ３とで指を鳴らす動作を行う状態（いわゆる「フィンガースナップ」を行う状態）を意味する。本実施形態において、「入力信号の確定」を示すハンドジェスチャーＥＳを右手ＲＨの親指ＲＦ１と中指ＲＦ３とで指を鳴らす動作と定めるのは、指を鳴らす動作は、手話における手および指の動きに規定されておらず、手話を利用して文字入力を行うハンドジェスチャーと、「入力信号の確定」を行うハンドジェスチャーと、を明確に区別できるという理由からである。
【００９７】
図１５は、「入力信号の確定」を示すハンドジェスチャーＥＳを行った場合における筋電位の時間的変化を模式的に示す説明図である。図１５では、所定時間の間における各筋電センサーＭＳ７〜ＭＳ１２の検出結果から得られる筋電波形Ｅｍｇ１３〜Ｅｍｇ１８をそれぞれ示している。なお、本実施形態において「入力信号の確定」を示すハンドジェスチャーは右手ＲＨにより実行されるため、左手ＬＨに装着されている各筋電センサーＭＳ１〜ＭＳ６の検出結果は不問である。したがって、図１５では、左手ＬＨに装着される筋電センサーＭＳ１〜ＭＳ６の検出結果から得られる筋電波形の図示を省略している。
【００９８】
図１５の最上段には、右手ＲＨの右腕ＲＷに装着されている第７筋電センサーＭＳ７の筋電波形Ｅｍｇ１３を示している。上から２段目には、右手ＲＨの親指ＲＦ１に装着されている第８筋電センサーＭＳ８の筋電波形Ｅｍｇ１４を示している。上から３段目には、右手ＲＨの人差し指ＲＦ２に装着されている第９筋電センサーＭＳ９の筋電波形Ｅｍｇ１５を示している。上から４段目には、右手ＲＨの中指ＲＦ３に装着されている第１０筋電センサーＭＳ１０の筋電波形Ｅｍｇ１６を示している。上から５段目には、右手ＲＨの薬指ＲＦ４に装着されている第１１筋電センサーＭＳ１１の筋電波形Ｅｍｇ１７を示している。上から６段目には、右手ＲＨの小指ＲＦ５に装着されている第１２筋電センサーＭＳ１２の筋電波形Ｅｍｇ１８を示している。
【００９９】
各筋電波形Ｅｍｇ１３〜Ｅｍｇ１７において、縦軸は各筋電センサーＭＳ７〜ＭＳ１２により検出される筋電位を示し、横軸は時間を示している。上述のように、「入力信号の確定」を示すハンドジェスチャーＥＳは、右手ＲＨの親指ＲＦ１と中指ＲＦ３とで指を鳴らす動作であるので、筋電波形Ｅｍｇ１４に示すように、親指ＲＦ１の筋電位は、時間ｔ２の間に０ミリボルト[ｍＶ]から次第に上昇して第１閾値Ｔｈ１よりも大きな第２閾値Ｔｈ２に達した後、０ミリボルト[ｍＶ]まで減少している。第２閾値Ｔｈ２に達するタイミングで中指ＲＦ３と接触して、いわゆる指を鳴らす動作が行われる。なお、中指ＲＦ３においても親指ＲＦ１と同様の動作が行われるため、中指ＲＦ３の筋電波形Ｅｍｇ１６は、親指ＲＦ１の筋電波形Ｅｍｇ１３と同様の形状となっている。
【０１００】
上述の時間ｔ２は、例えば、１０ミリ秒である。なお、時間ｔ２は、１０ミリ秒に代えて、他の任意の時間であってもよい。また、上述の第２閾値Ｔｈ２は、例えば、２０ミリボルト[ｍＶ]である。なお、第２閾値Ｔｈ２は、２０ミリボルト[ｍＶ]に代えて、第１閾値Ｔｈ１よりも大きな他の任意の値に設定してもよい。
【０１０１】
図１４に示すように、「入力信号の確定」を示すハンドジェスチャーＥＳにおいて人差し指ＲＦ２は、伸びた状態であるため、図１５の筋電波形Ｅｍｇ１５に示すように、筋電位は０ミリボルト[ｍＶ]で固定である。また、図１４に示すように、「入力信号の確定」を示すハンドジェスチャーＥＳにおいて薬指ＲＦ４および小指ＲＦ５は、握った状態であるため、図１５の筋電波形Ｅｍｇ１７およびＥｍｇ１８に示すように、筋電位は第３閾値Ｔｈ３で一定である。第３閾値Ｔｈ３は、例えば、１０ミリボルト[ｍＶ]である。なお、第３閾値Ｔｈ３は、第２閾値Ｔｈ２より小さな任意の値を設定してもよい。
【０１０２】
図１４に示すように、「入力信号の確定」を示すハンドジェスチャーＥＳにおいて右腕ＲＷは、腕を持ち上げた状態であるため、図１５の筋電波形Ｅｍｇ１３に示すように、筋電位は第３閾値Ｔｈ３で一定である。なお、薬指ＲＦ４、小指ＲＦ５および右腕ＲＷの筋電位は、第３閾値Ｔｈ３で一定でなくてもよく、第３閾値Ｔｈ３とは異なる筋電位で一定であってもよい。
【０１０３】
図９に示すように、推定されたハンドジェスチャーが「入力信号の確定」を示すハンドジェスチャーＥＳでないと判定された場合（ステップＳ１７０：ＮＯ）、上述のステップＳ１３０が実行される。他方、推定されたハンドジェスチャーが「入力信号の確定」を示すハンドジェスチャーＥＳであると判定された場合（ステップＳ１７０：ＹＥＳ）、入力信号生成部１５７は、推定されたハンドジェスチャーに対応する入力信号の生成および出力を行う（ステップＳ１８０）。具体的には、入力信号生成部１５７は、「入力信号の確定」を示すハンドジェスチャーＥＳが行われる前までに既に推定されているハンドジェスチャーに対応する文字の入力信号を生成する。そして、生成された入力信号を入出力制御部１５１に対して出力する。
【０１０４】
運動情報取得部１５３は、文字入力を終了するか否かを判定する（ステップＳ１９０）。具体的には、運動情報取得部１５３は、「入力信号の確定」を示すハンドジェスチャーＥＳが実行された後、運動情報が取得されない時間を計測する。かかる時間が予め定めた所定の時間を超えていない場合、運動情報取得部１５３は、文字入力を終了しないと判定し（ステップＳ１９０：ＮＯ）、上述のステップＳ１３０が実行される。これに対して、計測した時間が所定の時間を超えている場合、運動情報取得部１５３は、文字入力を終了すると判定し（ステップＳ１９０：ＹＥＳ）、文字入力処理は終了する。
【０１０５】
以上説明した本実施形態のＨＭＤ１００によれば、ＨＭＤ１００の使用者の手および腕の筋肉の動きに関する運動情報が取得され、取得された運動情報が示す筋肉の動きに基づいて予め定められたハンドジェスチャーが推定され、推定されたハンドジェスチャーに応じて予め定められている入力信号が生成されるので、ＨＭＤ１００において、入力を簡便に、また、精度よく実行できる。加えて、筋肉の動きが生じたときの皮膚表面の電位が取得され、取得された電位の時間的変化を示す筋電波形Ｅｍｇ１〜Ｅｍｇ１８を利用してハンドジェスチャーが推定されるので、ハンドジェスチャーを精度よく推定できる。
【０１０６】
また、推定されたハンドジェスチャーを表すハンドジェスチャー表示画像ＨＳ１およびハンドジェスチャーに対応する文字を表す文字表示画像ＫＣ１が表示されるので、推定されたハンドジェスチャーおよびハンドジェスチャーに対応する文字を使用者に知らしめることができる。加えて、推定されたハンドジェスチャーが既に推定されているハンドジェスチャーに対応する入力信号の確定を示すハンドジェスチャーＥＳである場合に該入力信号が出力されるので、入力信号の出力を精度よく実行でき、また、誤入力を抑制できる。
【０１０７】
Ｂ．他の実施形態：
Ｂ１．他の実施形態１：
上記実施形態において、表示制御部１４７は、ハンドジェスチャー表示画像ＨＳ１と文字表示画像ＫＣ１との両方の表示画像を表示させていたが、本発明はこれに限定されない。例えば、表示制御部１４７は、ハンドジェスチャー表示画像ＨＳ１のみを表示させてもよいし、文字表示画像ＫＣ１のみを表示させてもよい。すなわち、一般には、表示制御部１４７は、ハンドジェスチャー表示画像ＨＳ１と、文字表示画像ＫＣ１と、のうちの少なくとも一方を表示させてもよい。また、例えば、表示制御部１４７は、ハンドジェスチャー表示画像ＨＳ１および文字表示画像ＫＣ１のいずれも表示させなくてもよい。このような構成においても、上記実施形態と同様な効果を奏する。
【０１０８】
Ｂ２．他の実施形態２：
上記各実施形態において、入力信号生成部１５７は、推定されたハンドジェスチャーが「入力信号の確定」を示すハンドジェスチャーＥＳである場合に入力信号を出力していたが、本発明はこれに限定されない。例えば、入力信号生成部１５７は、推定されたハンドジェスチャーが「入力信号の確定」を示すハンドジェスチャーＥＳである場合に入力信号を出力しなくてもよいし、ハンドジェスチャーが「入力信号の確定」を示すハンドジェスチャーＥＳでない場合に入力信号を出力してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１０９】
Ｂ３．他の実施形態３：
上記各実施形態において、「入力信号の確定」を示すハンドジェスチャーＥＳは、右手ＲＨの手の形状が親指ＲＦ１と中指ＲＦ３とで指を鳴らす動作であったが、本発明はこれに限定されない。例えば、「入力信号の確定」を示すハンドジェスチャーＥＳは、左手ＬＨと右手ＲＨとで手をたたく動作であってもよい。かかる構成では、各筋電センサーＭＳ１〜ＭＳ１２の検出値が時間ｔ２の間のみ第２閾値Ｔｈ２よりも大きな値である場合、ハンドジェスチャー推定部１５５は、左手ＬＨと右手ＲＨとで手をたたく動作が実行されたと推定してもよい。また、例えば、「入力信号の確定」を示すハンドジェスチャーＥＳは、左手ＬＨで右手ＲＨの任意の指の関節を鳴らす動作であってもよい。すなわち、一般には、「入力信号の確定」を示すハンドジェスチャーＥＳは、左手ＬＨと右手ＲＨとを利用して音を鳴らす手の動きであれば、他の任意のハンドジェスチャーであってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１０】
Ｂ４．他の実施形態４：
上記各実施形態および他の実施形態３において、入力信号生成部１５７は、「入力信号の確定」を示すものとして予め定められた身体の動きが検出された場合に、推定されたハンドジェスチャーに対応する入力信号の生成および出力を行ってもよい。「予め定められた身体の動き」とは、例えば、「足踏みをする動き」、「舌打ちをする動き」、および「歯を噛む動き」等の動きが該当する。運動情報取得部１５３は、ＨＭＤ１００の使用者の足に装着された筋電センサーＭＳの検出結果から「足踏みをする動き」を検出してもよい。また、運動情報取得部１５３は、ＨＭＤ１００の使用者の頭部に装着された筋電センサーＭＳの検出結果から「舌打ちをする動き」および「歯を噛む動き」を検出してもよい。また、入力信号生成部１５７は、「入力信号の確定」を示すハンドジェスチャーＥＳが実行され、かつ、上述の予め定められた身体の動きが検出された場合に、入力信号の生成および出力を行ってもよい。このような構成においても、上記各実施形態および他の実施形態３と同様な効果を奏する。
【０１１１】
Ｂ５．他の実施形態５：
上記各実施形態において、ハンドジェスチャー推定部１５５は、運動情報に加えて、カメラ６１により撮像された撮像画像を利用してハンドジェスチャーを推定してもよい。かかる構成では、撮像画像を解析して左手ＬＨおよび右手ＲＨの形状を特定し、特定された手の形状と、ハンドジェスチャーデータ格納部１２５に格納されているハンドジェスチャーの種類とをパターンマッチングさせることにより、ハンドジェスチャーを推定してもよい。また、表示制御部１４７は、ハンドジェスチャー表示画像ＨＳ１および文字表示画像ＫＣ１に加えて、特定された手の形状を表す表示画像を画像表示部２０に表示させてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１２】
Ｂ６．他の実施形態６：
上記各実施形態において、入力信号生成部１５７は、ハンドジェスチャーに対応する文字の入力信号を生成していたが、本発明はこれに限定されない。例えば、入力信号生成部１５７は、コマンドの入力信号を生成してもよい。かかる構成では、ハンドジェスチャーの種類とコマンドとを対応づけたマップをハンドジェスチャーデータ格納部１２５に予め格納しておき、推定されたハンドジェスチャーに応じて定められているコマンドの入力信号を生成してもよい。また、例えば、入力信号生成部１５７は、Ｗｅｂページ等のページ送り、ページ戻し、拡大および縮小等の入力信号を生成してもよい。すなわち、一般には、推定されたハンドジェスチャーに応じて予め定められている入力信号を生成する構成であれば、上記各実施形態と同様な効果を奏する。
【０１１３】
Ｂ７．他の実施形態７：
上記各実施形態において、ハンドジェスチャーの種類と運動情報とは、予め対応づけられていたが、これに加えて、使用者に応じて対応づけを異ならせてもよい。例えば、使用者が左利きである場合、ハンドジェスチャーの種類は左手用のハンドジェスチャーを対応づけておいてもよい。また、例えば、使用者が女性である場合、運動情報、例えば、筋電位の各閾値Ｔｈ１〜Ｔｈ３を、使用者が男性である場合に比べて小さな値を対応づけておいてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１４】
Ｂ８．他の実施形態８：
上記各実施形態において、運動情報取得部１５３は、筋電センサーＭＳ１〜ＭＳ１２から運動情報を取得していたが、本発明はこれに限定されない。例えば、使用者が腕または手にジャイロセンサーを装着している構成においては、運動情報取得部１５３は、かかるジャイロセンサーからＨＭＤ１００の使用者の手や腕の動きを取得してもよい。また、例えば、運動情報取得部１５３は、マイク６３に入力される音声を取得してもよい。かかる構成においては、ハンドジェスチャー推定部１５５は、取得された音声入力を利用してハンドジェスチャーを推定してもよい。「入力信号の確定」を示すハンドジェスチャーとして、左手ＬＨと右手ＲＨとを利用して音を鳴らす手の動きを採用する構成においては、音声入力を利用することにより、「入力信号の確定」を示すハンドジェスチャーを精度よく推定できる。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１５】
Ｂ９．他の実施形態９：
上記各実施形態において、各筋電センサーＭＳ１〜ＭＳ１２は、表面電極を備える筋電センサーであったが、これに代えて、針電極を備える筋電センサーであってもよいし、ワイヤー電極を備える筋電センサーであってもよい。また、例えば、各腕ＬＷおよびＲＷ、各指ＲＦ１〜ＲＦ５およびＬＦ１〜ＬＦ５に装着される筋電センサーＭＳの数は、任意の数であってもよい。また、各腕ＬＷおよびＲＷに装着される筋電センサーＭＳ１およびＭＳ７は、腕輪型の筋電センサーであったが、これに代えて、時計型の筋電センサーであってもよい。また、例えば、筋電センサーに代えて、筋肉、神経などの細胞および組織が興奮したときに生じる電位を検出可能な筋肉活動検出装置であってもよい。筋肉活動検出装置として、例えば、脈拍計測装置を採用してもよい。脈拍計測装置を採用する場合、血液中のヘモグロビンが光を吸収するという性質を利用することにより脈拍を計測し、計測された脈拍を筋肉活動として取得してもよい。具体的には、ＨＭＤ１００の使用者の腕に装着された脈拍計測装置が備えるセンサーから皮膚内の血管に光を照射させ、ヘモグロビンが吸収せずに皮膚内部から戻ってきた光を受光素子により測定して、入る光量の多寡により脈拍を計測してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１６】
Ｂ１０．他の実施形態１０：
上記各実施形態において、ＨＭＤ１００と各筋電センサーＭＳ１〜ＭＳ１２とは、無線接続されていたが、これに代えて、有線接続されていてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１７】
Ｂ１１．他の実施形態１１：
上記各実施形態において、「文字入力の開始」を示すハンドジェスチャーＥＳは、左手ＬＨおよび右手ＲＨを握った状態であったが、本発明はこれに限定されない。例えば、「文字入力の開始」を示すハンドジェスチャーＥＳは、「入力信号の確定」を示すハンドジェスチャーＳＳと同じであってもよい。また、例えば、「文字入力の開始」を示すハンドジェスチャーＥＳは、左手ＬＨが開いた状態（日本では「パー」と呼ばれる状態）であり、かつ、右手ＲＨが握った状態（日本では「グー」と呼ばれる状態）であってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１８】
Ｂ１２．他の実施形態１２：
上記各実施形態において、ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネル２２３、２４３と、ＯＬＥＤパネル２２３、２４３を駆動するＯＬＥＤ駆動回路２２５、２４５とを有し、ＯＬＥＤパネル２２３、２４３は、有機エレクトロルミネッセンスにより発光し、それぞれ発する発光素子により構成される自発光型の表示パネルであったが、本発明はこれに限定されない。また、ＯＬＥＤパネル２２３、２４３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されていたが、本発明はこれに限定されない。例えば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネルと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子と、を備える映像素子として構成されてもよい。なお、ＯＬＥＤパネルが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザースキャン方式のレーザー網膜投影型のＨＭＤとしてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１１９】
Ｂ１３．他の実施形態１３：
上記各実施形態において、制御機能部１５０は、制御装置１０に備えられていたが、これに代えて、画像表示部２０がメインプロセッサーを備える構成においては、制御機能部１５０は、画像表示部２０に備えられていてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１２０】
Ｂ１４．他の実施形態１４：
上記各実施形態において、筋肉活動検出装置は、手および腕の筋肉の動きを検出していたが、これに加えて、ＨＭＤ１００の使用者の身体の他の部位の動きを検出してもよい。具体的には、足の指、足の裏、および太腿等に装着された筋肉活動検出装置により、足の筋肉の動きを検出してもよい。また、例えば、頭部に装着された筋肉活動検出装置により、あごの筋肉の動きを検出してもよい。また、例えば、所定の間隔ごとに身体に貼り付けて装着された筋肉活動検出装置により、全身の筋肉の動きを検出してもよい。すなわち、一般には、筋肉活動検出装置がＨＭＤ１００の使用者の身体の筋肉の動きを検出する構成であれば、上記各実施形態と同様な効果を奏する。
【０１２１】
Ｂ１５．他の実施形態１５：
上記各実施形態において、インジケーター画像ＩＧには、各筋電センサーＭＳ１〜ＭＳ１２により検出された筋電位の合計値の割合が表示されていたが、本発明はこれに限定されない。例えば、上述のステップＳ１７０において「入力信号の確定」を示すハンドジェスチャーＥＳであると判定されるために必要な筋電位を１００％とした場合に、各筋電センサーＭＳ１〜ＭＳ１２により検出された筋電位の合計値の割合を表示してもよい。また、例えば、かかる割合に応じてインジケーター画像ＩＧの色を異ならせて表示してもよいし、インジケーター画像ＩＧを点滅させて表示してもよいし、インジケーター画像ＩＧの形を異ならせて表示させてもよい。入力信号の確定にまで至らない動作（ジェスチャー）を行った使用者に対して、あとどの程度大きな動作を行うことで入力信号を確定させることができるかを容易に理解させ得る。また、例えば、表示制御部１４７は、上述のステップＳ１８０の実行後に、インジケーター画像ＩＧの色等の表示態様を、ステップＳ１８０の実行前と異ならせて表示させてもよい。このようにするのは、ＨＭＤ１００の使用者に対して、入力信号の生成および出力が実行されたことを知らしめることができるという理由からである。このような構成においても、上記各実施形態と同様な効果を奏する。
【０１２２】
Ｂ１６．他の実施形態１６：
上記他の実施形態１５において、「入力信号の確定」を示すハンドジェスチャーＥＳであると判定されるために必要な筋電位の設定値は、使用者ごとに異ならせてもよい。例えば、使用者が女性である場合、使用者が男性である場合に比べて小さな値に設定してもよい。また、例えば、使用者の操作のしやすさに応じて、設定値を変更可能な構成としてもよい。なお、かかる設定値は、使用者と対応づけてハンドジェスチャーデータ格納部１２５に格納しておいてもよい。このような構成においても、上記他の実施形態１５と同様な効果を奏する。
【０１２３】
本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【０１２４】
Ｃ．他の形態：
（１）本発明の一実施形態によれば、透過型頭部装着型表示装置が提供される。この透過型頭部装着型表示装置は、外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と；前記透過型頭部装着型表示装置の使用者の身体の筋肉の動きを検出する筋肉活動検出装置により検出された前記筋肉の動きに関する情報を取得する運動情報取得部と；取得された前記情報が示す前記筋肉の動きに基づいて予め定められたハンドジェスチャーを推定するハンドジェスチャー推定部と；推定された前記ハンドジェスチャーに応じて予め定められている入力信号を生成する入力信号生成部と；を備える。
この形態の透過型頭部装着型表示装置によれば、透過型頭部装着型表示装置の使用者の身体の筋肉の動きに関する情報が取得され、取得された情報が示す筋肉の動きに基づいて予め定められたハンドジェスチャーが推定され、推定されたハンドジェスチャーに応じて予め定められている入力信号が生成されるので、透過型頭部装着型表示装置において、入力を簡便に、また、精度よく実行できる。
【０１２５】
（２）上記形態の透過型頭部装着型表示装置において、運動情報取得部は、前記情報として前記筋肉の動きが生じたときの皮膚表面の電位を取得し、前記ハンドジェスチャー推定部は、取得された前記電位の時間的変化を示す筋電波形を利用して、前記ハンドジェスチャーを推定してもよい。この形態の透過型頭部装着型表示装置によれば、筋肉の動きが生じたときの皮膚表面の電位が取得され、取得された電位の時間的変化を示す筋電波形を利用してハンドジェスチャーが推定されるので、ハンドジェスチャーを精度よく推定できる。
【０１２６】
（３）上記形態の透過型頭部装着型表示装置において、推定された前記ハンドジェスチャーを表す表示画像と、前記ハンドジェスチャーに対応する文字を表す表示画像と、のうちの少なくとも一方を表示させる表示制御部を、さらに備えてもよい。この形態の透過型頭部装着型表示装置によれば、推定されたハンドジェスチャーを表す表示画像と、ハンドジェスチャーに対応する文字を表す表示画像と、のうちの少なくとも一方が表示されるので、推定されたハンドジェスチャーまたはハンドジェスチャーに対応する文字を使用者に知らしめることができる。
【０１２７】
（４）上記形態の透過型頭部装着型表示装置において、前記入力信号生成部は、推定された前記ハンドジェスチャーが、既に推定されているハンドジェスチャーに対応する前記入力信号の確定を示す前記ハンドジェスチャーである場合、該入力信号を出力してもよい。この形態の透過型頭部装着型表示装置によれば、推定されたハンドジェスチャーが既に推定されているハンドジェスチャーに対応する入力信号の確定を示すハンドジェスチャーである場合に該入力信号が出力されるので、入力信号の出力を精度よく実行でき、また、誤入力を抑制できる。
【０１２８】
（５）上記形態の透過型頭部装着型表示装置において、前記入力信号の確定を示す前記ハンドジェスチャーは、音を鳴らす動作であってもよい。この形態の透過型頭部装着型表示装置によれば、入力信号の確定を示すハンドジェスチャーは音を鳴らす動作なので、仮に文字等の入力に利用するハンドジェスチャーとして手話における手および指の動きに対応するハンドジェスチャーを利用する場合、手話における手および指の動きには音を鳴らす動作が規定されていないため、文字等の入力に利用するハンドジェスチャーと、入力信号の確定を示すハンドジェスチャーとを区別することができ、誤入力を抑制できる。
【０１２９】
（６）上記形態の透過型頭部装着型表示装置において、前記入力信号生成部は、前記入力信号の確定を示すものとして予め定められた前記身体の動きが検出された場合に、前記入力信号を出力してもよい。この形態の透過型頭部装着型表示装置によれば、予め定められた前記身体の動きが検出された場合、入力信号が出力されるので、入力信号の確定を精度よく実行できる。
【０１３０】
（７）上記形態の透過型頭部装着型表示装置において、表示制御部を、さらに備え、前記運動情報取得部は、前記情報として前記筋肉の動きが生じたときの皮膚表面の電位を取得し、前記表示制御部は、取得された前記電位を示すインジケーター画像を表示させてもよい。この形態の透過型頭部装着型表示装置によれば、取得された電位を示すインジケーター画像が表示されるので、使用者は、自身の行った筋肉の動きの大きさ（量）を容易に認識できる。
【０１３１】
（８）上記形態の透過型頭部装着型表示装置において、前記表示制御部は、推定された前記ハンドジェスチャーが、既に推定されているハンドジェスチャーに対応する前記入力信号の確定を示す前記ハンドジェスチャーである場合、推定された前記ハンドジェスチャーが前記入力信号の確定を示す前記ハンドジェスチャーでない場合に比べて、前記インジケーター画像の表示態様を異ならせて表示させてもよい。この形態の透過型頭部装着型表示装置によれば、推定されたハンドジェスチャーが、既に推定されているハンドジェスチャーに対応する入力信号の確定を示すハンドジェスチャーである場合、推定されたハンドジェスチャーが入力信号の確定を示すハンドジェスチャーでない場合に比べて、インジケーター画像の表示態様を異ならせて表示させるので、使用者は、自身の行ったジェスチャーが入力信号の確定を示すジェスチャーであると推定されたことを容易に認識できる。
【０１３２】
（９）上記形態の透過型頭部装着型表示装置において、さらに、撮像部を備え；前記ハンドジェスチャー推定部は、撮像により得られた画像における前記使用者の手の形状に基づいて前記ハンドジェスチャーを推定してもよい。この形態の透過型頭部装着型表示装置によれば、撮像部を備え、撮像により得られた画像における使用者の手の形状に基づいてハンドジェスチャーが推定されるので、ハンドジェスチャーの推定に撮像画像を利用しない構成に比べて、ハンドジェスチャーを精度よく推定できる。
【０１３３】
本発明は、種々の形態で実現することも可能である。例えば、透過型頭部装着型表示装置における表示制御方法、かかる表示制御方法を実現するためのコンピュータープログラム、かかるコンピュータープログラムを記録した記録媒体等の形態で実現できる。
【符号の説明】
【０１３４】
１０…制御装置、１２…点灯部、１４…トラックパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…透過型頭部装着型表示装置、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＮＳＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ格納部、１２４…コンテンツデータ格納部、１２５…ハンドジェスチャーデータ格納部、１２６…文字データ格納部、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…運動情報取得部、１５５…ハンドジェスチャー推定部、１５７…入力信号生成部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェイス、２１０…表示ユニット基板、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３０…表示ユニット基板、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、ＡＩ…対象画像、ＥＬ…端部、ＥＲ…端部、ＥＳ…ハンドジェスチャー、Ｅｍｇ１…筋電波形、Ｅｍｇ１０…筋電波形、Ｅｍｇ１１…筋電波形、Ｅｍｇ１２…筋電波形、Ｅｍｇ１３…筋電波形、Ｅｍｇ１４…筋電波形、Ｅｍｇ１５…筋電波形、Ｅｍｇ１６…筋電波形、Ｅｍｇ１７…筋電波形、Ｅｍｇ１８…筋電波形、Ｅｍｇ２…筋電波形、Ｅｍｇ３…筋電波形、Ｅｍｇ４…筋電波形、Ｅｍｇ５…筋電波形、Ｅｍｇ６…筋電波形、Ｅｍｇ７…筋電波形、Ｅｍｇ８…筋電波形、Ｅｍｇ９…筋電波形、ＨＳ１…ハンドジェスチャー表示画像、ＩＧ…インジケーター画像、Ｉｎｆ…情報画像、ＫＣ１…文字表示画像、Ｌ…画像光、ＬＡＮ…無線、ＬＥ…左眼、ＬＦ１…親指、ＬＦ２…人差し指、ＬＦ３…中指、ＬＦ４…薬指、ＬＦ５…小指、ＬＨ…左手、ＬＷ…左腕、ＭＳ…筋電センサー、ＭＳ１…第１筋電センサー、ＭＳ１０…第１０筋電センサー、ＭＳ１１…第１１筋電センサー、ＭＳ１２…第１２筋電センサー、ＭＳ２…第２筋電センサー、ＭＳ３…第３筋電センサー、ＭＳ４…第４筋電センサー、ＭＳ５…第５筋電センサー、ＭＳ６…第６筋電センサー、ＭＳ７…第７筋電センサー、ＭＳ８…第８筋電センサー、ＭＳ９…第９筋電センサー、ＯＢ…対象物、ＯＬ…外光、ＰＮ…表示領域、Ｐｔ…ポインター画像、ＲＤ…視線、ＲＥ…右眼、ＲＦ１…親指、ＲＦ２…人差し指、ＲＦ３…中指、ＲＦ４…薬指、ＲＦ５…小指、ＲＨ…右手、ＲＷ…右腕、ＳＣ…外景、ＳＳ…ハンドジェスチャー、Ｔｂ…指文字表示画像、Ｔｈ１…第１閾値、Ｔｈ２…第２閾値、Ｔｈ３…第３閾値、ＶＲ…視界、ｔ１…時間、ｔ２…時間
【図１】
2019185531.tif 000003
【図２】
2019185531.tif 000004
【図３】
2019185531.tif 000005
【図４】
2019185531.tif 000006
【図５】
2019185531.tif 000007
【図６】
2019185531.tif 000008
【図７】
2019185531.tif 000009
【図８】
2019185531.tif 000010
【図９】
2019185531.tif 000011
【図１０】
2019185531.tif 000012
【図１１】
2019185531.tif 000013
【図１２】
2019185531.tif 000014
【図１３】
2019185531.tif 000015
【図１４】
2019185531.tif 000016
【図１５】
2019185531.tif 000017