(57)【要約】【課題】頭部装着型表示装置に低負荷処理を課すだけで入力処理を可能とする。【解決手段】頭部装着型表示装置と、前記頭部装着型表示装置を操作するための入力装置と、を備える表示システムである。表示システムは、前記入力装置は、使用者の腕または脚に装着されるとともに、前記装着された腕または脚の周方向の動きを検出する動き検出部を備える。前記頭部装着型表示装置は、操作を受け付ける操作画面を表示し、前記動き検出部によって検出された前記動きに応じて、前記操作画面に対する操作を切り替える。【選択図】図１３
2018124651.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型表示装置と、前記頭部装着型表示装置を操作するための入力装置と、を備える表示システムであって、
前記入力装置は、使用者の腕または脚に装着されるとともに、前記装着された腕または脚の周方向の動きを検出する動き検出部を備え、
前記頭部装着型表示装置は、
操作を受け付ける操作画面を表示し、
前記動き検出部によって検出された前記動きに応じて、前記操作画面に対する操作を切り替える、
表示システム。
【請求項２】
請求項１に記載の表示システムであって、
前記頭部装着型表示装置は、前記頭部装着型表示装置が備える画像表示部の動きを検出する表示部動き検出部を備え、
前記操作画面に対する操作を切り替える構成は、
前記動き検出部によって検出された前記動きと、前記表示部動き検出部によって検出された前記画像表示部の動きとに基づいて、前記画像表示部の向きに対する前記腕または脚の周方向の相対的な動きを求め、
求めた前記相対的な動きに応じて、前記操作画面に対する操作を切り替える、表示システム。
【請求項３】
請求項２に記載の表示システムであって、
前記入力装置は、リストバンド型ウェアラブルデバイスである、表示システム。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の表示システムであって、
前記動き検出部は、
２軸以上の加速度センサーと、
前記加速度センサーの検出信号から、前記動きを検出する処理装置と、
を備える、表示システム。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の表示システムであって、
前記操作画面は、日本語の仮名文字を母音に基づき縦横の一方に５字並べ、子音に基づき縦横の他方に１０字並べた入力ボードであり、
前記動きに応じた操作の切り替えは、前記入力ボードにおいて縦横の一方の側に並んだ選択文字を切り替えるものである、表示システム。
【請求項６】
請求項５に記載の表示システムであって、
前記入力装置は、前記装着された腕または脚の関節より先端側部分の折れ曲がり方向の動きを検出する第２動き検出部を備え、
前記頭部装着型表示装置は、前記第２動き検出部によって検出された前記動きに応じて、前記入力ボードにおいて縦横の他方の側に並んだ選択文字を切り替える、表示システム。
【請求項７】
請求項１に記載の表示システムであって、
前記入力装置は、リストバンド型ウェアラブルデバイスであり、
前記操作画面は、日本語の仮名文字を母音に基づき縦横の一方に５字、子音に基づき縦横の他方に１０字ずつ並べた入力ボードであり、
前記動きに応じた操作の切り替えは、前記入力ボードにおいて母音を切り替えるものであり、
前記動き検出部は、前腕を胸の前に差し出した上で腕首を回転させる動きを検出する構成である、表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システムに関する。
【背景技術】
【０００２】
近年、使用者の眼前で画像を表示することのできる頭部装着型表示装置が普及しつつある。特許文献１には、使用者の指の動きを検出し、検出した指の動きを頭部装着型表示装置に対する入力として使用する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−９０５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された表示システムでは、指の動きを検出するために画像認識を利用した高度な検出機能が必要となるため、頭部装着型表示装置に高負荷処理を課すことになる。このため、頭部装着型表示装置を備える表示システムにおいて、頭部装着型表示装置に低負荷処理を課すだけで入力処理を行うことのできる技術が望まれていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００６】
（１）本発明の一形態によれば、頭部装着型表示装置と、前記頭部装着型表示装置を操作するための入力装置と、を備える表示システムが提供される。この表示システムは、前記入力装置は、使用者の腕または脚に装着されるとともに、前記装着された腕または脚の周方向の動きを検出する動き検出部を備える。前記頭部装着型表示装置は、操作を受け付ける操作画面を表示し、前記動き検出部によって検出された前記動きに応じて、前記操作画面に対する操作を切り替える。この形態の表示システムによれば、使用者の腕または脚の周方向の動きを検出して、その動きに応じて操作画面に対する操作を切り替えることができる。腕または脚の周方向の動きは、一方向の単純な動きであり、かつ比較的大きな動きであることから、高度な検出機能を必要としない。また、入力装置側に動き検出部が設けられている。これらのことから、この形態の表示システムによれば、操作画面に対する操作を行うに際し、頭部装着型表示装置の処理負荷を低減できる。
【０００７】
（２）前記表示システムにおいて、前記頭部装着型表示装置は、前記頭部装着型表示装置が備える画像表示部の動きを検出する表示部動き検出部を備え、前記操作画面に対する操作を切り替える構成は、前記動き検出部によって検出された前記動きと、前記表示部動き検出部によって検出された前記画像表示部の動きとに基づいて、前記画像表示部の向きに対する前記腕または脚の周方向の相対的な動きを求め、求めた前記相対的な動きに応じて、前記操作画面に対する操作を切り替えてもよい。この形態の表示システムによれば、頭部装着型表示装置が装着された腕または脚の周方向の動きを画像表示部に対するものとして高精度に求めることできる。
【０００８】
（３）前記入力装置は、リストバンド型ウェアラブルデバイスであってもよい。この形態の表示システムによれば、使用者の利便性をより高めることができる。
【０００９】
（４）前記表示システムにおいて、前記動き検出部は、２軸以上の加速度センサーと、前記加速度センサーの検出信号から、前記動きを検出する処理装置と、を備えてもよい。この形態の表示システムによれば、入力装置を小型化できる。
【００１０】
（５）前記表示システムにおいて、前記操作画面は、日本語の仮名文字を母音に基づき縦横の一方に５字並べ、子音に基づき縦横の他方に１０字並べた入力ボードであり、前記動きに応じた操作の切り替えは、前記入力ボードにおいて縦横の一方の側に並んだ選択文字を切り替えるものであってもよい。この形態の表示システムによれば、日本語の仮名文字（ひらがな、またはカタカナ）の入力を、頭部装着型表示装置の処理負荷を低減して行うことができる。
【００１１】
（６）前記表示システムにおいて、前記入力装置は、前記装着された腕または脚の関節より先端側部分の折れ曲がり方向の動きを検出する第２動き検出部を備え、前記頭部装着型表示装置は、前記第２動き検出部によって検出された前記動きに応じて、前記入力ボードにおいて縦横の他方の側に並んだ選択文字を切り替えてもよい。この形態の表示システムによれば、使用者は入力装置が装着された腕または脚を動かすだけで、日本語の仮名文字の入力を行うことができることから、操作性に優れている。
【００１２】
（７）前記表示システムにおいて、前記入力装置は、リストバンド型ウェアラブルデバイスであり、前記操作画面は、日本語の仮名文字を母音に基づき縦横の一方に５字、子音に基づき縦横の他方に１０字ずつ並べた入力ボードであり、前記動きに応じた操作の切り替えは、前記入力ボードにおいて母音を切り替えるものであり、前記動き検出部は、前腕を胸の前に差し出した上で腕首を回転させる動きを検出する構成であってもよい。この形態の表示システムによれば、使用者は、腕首の回転方向と、入力ボードおける操作方向とが一致するようにして入力操作を行うことができることから、直感的に操作を行うことができ、操作性に優れている。
【００１３】
本発明は、表示システム以外の種々の形態で実現することも可能である。例えば、表示システムの制御方法、表示システムの備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態における表示システムの概略構成を示す説明図である。
【図２】画像表示部が備える光学系の構成を示す要部平面図である。
【図３】使用者から見た画像表示部の要部構成を示す図である。
【図４】カメラの画角を説明するための図である。
【図５】ＨＭＤの電気的な構成を示すブロック図である。
【図６】制御装置の構成を機能的に示すブロック図である。
【図７】ＨＭＤによる拡張現実感表示の一例を示す説明図である。
【図８】腕時計型デバイスの電気的な構成を示すブロック図である。
【図９】文字入力処理を示すフローチャートである。
【図１０】使用者によって視認される視野の一例を示す説明図である。
【図１１】文字入力を開始する際の使用者の姿勢を例示する説明図である。
【図１２】文字入力画面の一例を示す説明図である。
【図１３】ひらがな入力ボードを操作しうる前腕の動きを示す説明図である。
【図１４】ひらがな入力ボードにおける選択キーの変更の態様を示す説明図である。
【図１５】腕首の回転角度と段位置との関係を具体的に示す説明図である。
【図１６】文字入力の変遷を示す説明図である。
【図１７】文字入力の変遷を示す説明図である。
【図１８】文字入力の変遷を示す説明図である。
【図１９】第２実施形態における段位置の決定の仕方を示す説明図である。
【図２０】第２実施形態におけるひらがな入力ボードに対する操作の仕方を示す説明図である。
【図２１】スクローリングリストの一例を示す説明図である。
【図２２】変形例としての表示システムに備えられるバンド型デバイスを示す説明図である。
【図２３】変形例としての英字入力ボードを示す説明図である。
【図２４】変形例の画像表示部が備える光学系の構成を示す要部平面図である。
【発明を実施するための形態】
【００１５】
Ａ．第１実施形態：
Ａ−１．表示システムの全体構成：
図１は、本発明の第１実施形態における表示システムの概略構成を示す説明図である。表示システムは、頭部装着型表示装置１００と、腕時計型ウェアラブルデバイス３００と、を備えている。腕時計型ウェアラブルデバイス３００は、頭部装着型表示装置１００の使用者の腕首に装着して利用することができる時計型の端末（デバイス）である。頭部装着型表示装置１００と腕時計型ウェアラブルデバイス３００とは、無線によって接続されており、互いに通信を行うことができる。腕時計型ウェアラブルデバイス３００は、計時機能の他に、頭部装着型表示装置１００を操作するための入力装置として機能する。
【００１６】
Ａ−２．頭部装着型表示装置の構成：
頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。
【００１７】
ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。
【００１８】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する支持体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。
【００１９】
右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
【００２０】
右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００２１】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。
【００２２】
右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。
【００２３】
本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。
【００２４】
画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって画像（拡張現実感（ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。
【００２５】
このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
【００２６】
カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。
【００２７】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御機能部１５０（図６）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。
【００２８】
ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ６１と同様に、制御機能部１５０（図６）により制御され、検出結果を制御機能部１５０へ出力する。
【００２９】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。
【００３０】
右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。
【００３１】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。
【００３２】
ＯＬＥＤ駆動回路２２５は、制御機能部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。
【００３３】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。
【００３４】
左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９（図５）が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。
【００３５】
以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる画像（ＡＲ画像）が視認される。
【００３６】
なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
【００３７】
図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端ＡＬから、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。
【００３８】
コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。
【００３９】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェース１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
【００４０】
制御装置１０は、ＨＭＤ１００（特に画像表示部２０）を制御するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。
【００４１】
タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。
【００４２】
図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。
【００４３】
図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をλで示す。なお、カメラ６１の画角λは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
【００４４】
上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。
【００４５】
なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
【００４６】
本実施形態のカメラ６１の画角λは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角λは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角λは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
【００４７】
図５は、ＨＭＤ１００の電気的な構成を示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェース、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。
【００４８】
記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。
【００４９】
入出力部には、タッチパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
【００５０】
センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳレシーバー１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。
【００５１】
インターフェースには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェース１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェース１９６とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。
【００５２】
音声コーデック１８０は、音声インターフェース１８２に接続され、音声インターフェース１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェース１８２は、音声信号を入出力するインターフェースである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２（図１）および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース１８２を介して出力する。また、音声コーデック１８０は、音声インターフェース１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００５３】
外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線ＬＡＮインターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース等の無線接続に対応したインターフェースを採用できる。
【００５４】
外部メモリーインターフェース１８６は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。
【００５５】
ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。
【００５６】
センサーハブ１９２およびＦＰＧＡ１９４は、インターフェース（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェース１９６を介した伝送を実行する。インターフェース１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０（図１）が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェース１９６に接続される。
【００５７】
また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。
【００５８】
電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。
【００５９】
右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５とが実装されている。受信部２１３は、インターフェース２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。
【００６０】
ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。
【００６１】
カメラ６１は、インターフェース２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００６２】
温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。
【００６３】
左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェース２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。
【００６４】
６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。
【００６５】
温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。
【００６６】
右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。
【００６７】
ＦＰＧＡ１９４は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。
【００６８】
図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
【００６９】
記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４とが記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。
【００７０】
コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。
【００７１】
制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、文字入力部１５５としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。
【００７２】
画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。
【００７３】
なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。
【００７４】
表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。
【００７５】
撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。
【００７６】
入出力制御部１５１は、タッチパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。通信制御部１５３は、無線通信部１１７を制御して、例えば腕時計型ウェアラブルデバイス３００との間で無線通信を行う。
【００７７】
文字入力部１５５は、ＯＳ１４３上で動作するアプリケーションプログラムに従って実現される機能である。文字入力部１５５は、入出力制御部１５１や、画像処理部１４５、表示制御部１４７、入出力制御部１５１、通信制御部１５３と協調して、日本語文字の入力を行う。具体的には、文字入力部１５５は、後述する文字入力画面を画像表示部２０に表示させるとともに、入出力制御部１５１からの文字入力画面に対する操作を受け付けることによって、日本語文字の入力を行う。これによって、使用者は、制御装置１０に備えられる方向キー１６や決定キー１７を操作することによって、文字入力画面から日本語文字を入力することができる。さらに、文字入力部１５５は、腕時計型ウェアラブルデバイス３００からの文字入力画面に対する操作も受け付ける。これによって、使用者は、腕時計型ウェアラブルデバイス３００を操作することによっても、文字入力画面から日本語文字を入力することができる。腕時計型ウェアラブルデバイス３００を用いた日本語文字入力については、後ほど詳述する。
【００７８】
図７は、ＨＭＤ１００による拡張現実感表示の一例を示す説明図である。図７では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感（ＡＲ）としての画像ＡＩを視認する。図７の例では、画像ＡＩは、ＨＭＤ１００のＯＳのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「メモ」の各アプリケーションプログラムを起動するためのアイコンＩＣが含まれる。また、右左の導光板２６，２８が外景ＳＣからの光を透過することで、使用者は外景ＳＣを視認する。このように、本実施形態のＨＭＤの使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、外景ＳＣに重なるようにして画像ＡＩを見ることができる。また、視界ＶＲのうち画像ＡＩが表示されていない部分については、外景ＳＣだけを見ることができる。
【００７９】
Ａ−３．腕時計型ウェアラブルデバイス３００の構成：
図１に示すように、腕時計型ウェアラブルデバイス（以下、単に「腕時計型デバイス」とも呼ぶ）３００は、フェイス３１０と、フェイス３１０を固定するケース３２０と、ケース３２０に連結されるバンド３３０と、を備える。フェイス３１０は、時計針と文字盤とを内蔵する。
【００８０】
図８は、腕時計型デバイス３００の電気的な構成を示すブロック図である。図示するように、腕時計型デバイス３００は、計時部３５０と、プロセッサー３６０と、６軸センサー３７０と、磁気センサー３８０と、磁気センサー３９０と、を備えている。計時部３５０は、現在の時刻を計り、時計針を駆動する。
【００８１】
プロセッサー３６０は、プログラムを実行して腕時計型デバイス３００を制御する。６軸センサー３７０は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー３７０は、これらセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー３８０は、例えば、３軸の地磁気センサーである。プロセッサー３６０は、６軸センサー３７０の検出信号と磁気センサー３８０の検出信号とを組み合わせることで、腕時計型デバイス３００のフェイス３１０の向き（フェイス３１０に垂直な外側方向）を検出する向き検出部３６１として機能する。フェイス３１０の向きによって、使用者の腕の周方向の動きを捉えることができることから、６軸センサー３７０と、プロセッサー３６０の一機能としての向き検出部３６１とによって、本発明の一形態としての表示システムに備えられる「動き検出部」が構成される。
【００８２】
プロセッサー３６０に替えて、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）を用いて構成された処理装置に替えることができる。
【００８３】
無線通信部３９０は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部３９０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。この結果、無線通信部３９０は、ＨＭＤ１００の備える制御装置１０と無線通信を行うことができる。
【００８４】
Ａ−４．文字入力処理について：
図９は、文字入力処理を示すフローチャートである。この文字入力処理は、図６に示した文字入力部１５５の一部に対応しており、ＨＭＤ１００のメインプロセッサー１４０によって実行される。図７に例示したメニュー画面の「メモ」のアイコンＩＣが方向キー１６（図１）と決定キー１７（図１）によって指示されたことを受けて、文字入力処理は実行開始される。
【００８５】
処理が開始されると、ＨＭＤ１００のメインプロセッサー１４０は、まず、「メモ」の初期画面を画像表示部２０に表示させる（ステップＳ１１０）。
【００８６】
図１０は、使用者によって視認される視野ＶＲ２の一例を示す説明図である。図示するように、使用者には、画像表示部２０の光学像表示部２６，２８を透過した外景ＳＣが視認されている。外景ＳＣには、例えば、腕時計型デバイス３００を装着した使用者の腕が含まれる。そして、図９のステップＳ１１０の結果、外景ＳＣに「メモ」の初期画面Ｐ１が重ね合わせて表示される。初期画面Ｐ１は、入力した文字列を表示するメモ領域Ｐ２を有する。
【００８７】
図９に戻り、続いて、メインプロセッサー１４０は、腕時計型デバイス３００からフェイス３１０の向きを取得する（ステップＳ１２０）。フェイス３１０の向きは、向き検出部２６１（図８）に検出された向きである。その後、メインプロセッサー１４０は、取得されたフェイス３１０の向きが、予め定められた向き（所定向き）と一致しているか否かを判定する（ステップＳ１３０）。この判定は、文字入力を開始するトリガーとなる入力開始条件を満たすか否かを判定するものである。
【００８８】
図１１は、文字入力を開始する際の使用者の姿勢を例示する説明図である。図中において、矢印ｘは使用者の前方向を示し、矢印ｙは使用者の上方向を示し、矢印ｚは使用者の右方向を示している。すなわち、ｘ、ｙ、ｚは使用者の向きに基づく相対的な方向である。本実施形態では、図示するように、使用者が、時計を見るときのように腕（肘から先端側の前腕）を胸の前に差し出し、腕時計型デバイス３００のフェイス３１０の向きＦＤを、時計を見るときと反対の向き、すなわち前（＋ｘ）下（−ｙ）方向に向けたときに、文字入力を開始するものとする。具体的には、ｘ−ｙ座標系において、腕時計型デバイス３００のフェイス３１０の向きＦＤを、＋ｙ軸に対する原点回りの回転角度θ（右回りがプラス側）で示すものとしたとき、回転角度θが例えば９０度から１８０度までの範囲内の角度であるときに、文字入力を開始する条件を満たしたと判定する。なお、この範囲は一例であり、時計を見るときの角度を含まない範囲であれば、いずれの角度範囲とすることもできる。
【００８９】
腕時計型デバイス３００は時計としても機能する。このため、使用者は、文字入力を意図せずに、時間を見るためにフェイス３１０の向きを自身に向けることがある。本実施形態では、この場合を除くために、フェイス３１０の向きＦＤが使用者とは反対の向き、すなわち使用者の前下方向（上述した９０度〜１８０度の範囲内の角度）に向いたときを、入力開始条件とした。
【００９０】
図９のステップＳ１２０によって得られるフェイス３１０の向きＦＤは絶対的な方向である。これに対して、ステップＳ１３０で比較の対称となる「所定向き」は、使用者の向き（すなわち、画像表示部２０の向き）によって変わる、画像表示部２０の向きに対する相対的な方向である。このため、ステップＳ１３０では、画像表示部２０に備えられる６軸センサー２３５（図５）の検出信号と磁気センサー２３７（図５）の検出信号とを組み合わせることで、画像表示部２０の向き（絶対的な方向）を求め、この画像表示部２０の向きとステップＳ１２０で取得した腕時計型デバイス３００の向きとによって、フェイス３１０の向きＦＤが使用者の前下方向に向いているかの判定を行う。
【００９１】
図９のステップＳ１３０でフェイス３１０の向きＦＤが使用者の前下方向であると判定された場合、メインプロセッサー１４０は、ステップＳ１４０に処理を進める。ステップＳ１４０では、メインプロセッサー１４０は、文字入力画面を画像表示部２０に表示させる処理を行う。
【００９２】
図１２は、文字入力画面Ｐ１０の一例を示す説明図である。文字入力画面Ｐ１０は、図１０に示した初期画面Ｐ１から遷移する画面である。文字入力画面Ｐ１０は、メモ領域Ｐ１１と、ひらがな入力ボードＰ１２とを備える。メモ領域Ｐ１１は、入力した文字列を表示する領域であり、初期画面Ｐ１のメモ領域Ｐ２に相当する。
【００９３】
ひらがな入力ボード（以下、単に「入力ボード」と呼ぶ）Ｐ１２は、日本語のひらがなの５０音に対応したキーＫＹが配列された構成を備える。具体的には、ひらがなを母音に基づき縦に５字のキーＫＹを、子音に基づき横に１０字のキーＫＹを並べた構成を備える。なお、入力ボードＰ１２は、実際は横に５つのキーＫＹだけを備え、選択キー（図中の太線枠で囲まれたキー）ＳＫの移動と共に隠れたキーが出現する構成となっている。選択キーＳＫは、選択文字を示すキーであり、文字入力画面Ｐ１０を表示した当初は予め定めた位置（本実施形態では、左上隅の位置）にあり、腕時計型デバイス３００の動きに応じて移動される。この移動の詳細については後述する。本実施形態では、５０本はひらがなとしたが、カタカナとしてもよい。
【００９４】
図９のステップＳ１４０の実行後、メインプロセッサー１４０は、腕時計型デバイス３００からフェイス３１０の位置と向きを取得する（ステップＳ１５０）。フェイス３１０の向きは、向き検出部２６１（図８）に検出された向きである。腕時計型デバイス３００のプロセッサー３６０は、６軸センサー３７０の検出信号と磁気センサー３８０の検出信号とを組み合わせることで、腕時計型デバイス３００のフェイス３１０の向きに加えて、フェイス３１０の位置も検出する。このフェイス３１０の位置についても、メインプロセッサー１４０は取得する。
【００９５】
次いで、メインプロセッサー１４０は、ＨＭＤ１００の画像表示部２０に対するフェイス３１０の位置と向きを算出する（ステップＳ１６０）。具体的には、メインプロセッサー１４０は、画像表示部２０に備えられる６軸センサー２３５（図５）の検出信号と磁気センサー２３７（図５）の検出信号とを組み合わせることで、画像表示部２０の絶対的な位置と向きを求め、この画像表示部２０の絶対的な位置と向きと、ステップＳ１５０で取得した腕時計型デバイス３００の位置と向きとによって、画像表示部２０に対するフェイス３１０の相対的な位置と向きを算出する。
【００９６】
続いて、メインプロセッサー１４０は、ステップＳ１６０によって算出したフェイス３１０の相対的な位置と向きから、腕時計型デバイス３００が装着された腕の動きを求め、この動きを判定する（ステップＳ１７０）。
【００９７】
図１３は、入力ボードＰ１２を操作しうる前腕の動きを示す説明図である。図示するように、使用者は、腕時計型デバイス３００が装着された前腕を、前腕の軸線ＡＸの傾きαが変化するように、また、腕首の周方向の回転角度θが変化するように動かすことができる。前腕の軸線ＡＸの傾きαは、腕を伸ばしたとき（上腕と前腕を一直線状としたとき）を０度として、腕を曲げた（肘を中心として前腕を回す動作）ときの曲げ角度（上腕の方向と前腕の方向とのなす角度）によって示される。「前腕の軸線」とは、前腕の中心軸であり、おおまかには前腕の尺骨と一致する。「腕首の周方向」とは、軸線を中心とする円周方向である。前腕の軸線ＡＸの傾きαが変化する動きを以下「軸移動」と呼び、腕首の周方向の回転角度θが変化する動きを以下「回転」と呼ぶ。図９のステップＳ１７０では、ステップＳ１６０によって算出したフェイス３１０の相対的な位置と向きから、使用者の腕の動きが「軸移動」と「回転」と「その他」のいずれかに該当するかを判定する。
【００９８】
ステップＳ１７０で、使用者の腕の動きが「軸移動」であると判定されたときには、メインプロセッサー１４０は、ステップＳ１６０で算出された画像表示部２０に対するフェイス３１０の相対的な位置と向きとから、前腕の軸線ＡＸの傾きα（図１３）を推定し、この傾きαに応じて、入力ボードＰ１２の選択キーＳＫの行位置を変更する（ステップＳ１８０）。
【００９９】
図１４は、入力ボードＰ１２における選択キーＳＫの変更の態様を示す説明図である。前腕の軸線ＡＸの傾きαが変化したとき、選択キーＳＫは横方向に移動し、行位置が変更となる。具体的には、腕を曲げたときの肘を起点とする上腕の可動範囲を、子音の数である１０個に等分し、等分した各範囲に行位置がそれぞれ割り当てられている。角度が大きくなるにつれて、あ行から、か行、さ行、た行と、順に後ろの行となっている。この各分割範囲に行位置が割り当てられたデータが表の形で制御装置１０のメモリー１１８に予め記憶されている。ステップＳ１８０では、推定した軸線ＡＸの傾きαをメモリー１１８に記憶された上記表に照らし合わせることで、傾きαが含まれる分割範囲を特定し、特定した分割範囲に割り当てられた行位置を抽出する。そして、抽出した行位置に選択キーＳＫを移動する。
【０１００】
図９のステップＳ１７０で、使用者の腕の動きが「回転」であると判定されたときには、メインプロセッサー１４０は、ステップＳ１６０で算出された画像表示部２０に対するフェイス３１０の相対的な位置と向きとから、腕首の回転角度θ（図１３）を推定し、この回転角度θに応じて、入力ボードＰ１２の選択キーＳＫの段位置を変更する（ステップＳ１９０）。腕首の回転角度θは、図１１で示したフェイス３１０の向きＦＤを示す回転角度θと等価である。
【０１０１】
腕首の回転角度θが変化したときには、図１４において、選択キーＳＫは縦方向に移動し、段位置が変更となる。具体的には、腕首の回転可能な範囲を母音の数である５個に等分し、等分した各範囲に段位置がそれぞれ割り当てられている。この各範囲に段位置が割り当てられたデータが表の形で制御装置１０のメモリー１１８に予め記憶されている。ステップＳ１９０では、推定した腕首の回転角度θをメモリー１１８に記憶された上記表に照らし合わせることで、腕首の回転角度θが含まれる分割範囲を特定し、特定した分割範囲に割り当てられた段位置を抽出する。そして、抽出した段位置に選択キーＳＫを移動する。
【０１０２】
図１５は、腕首の回転角度θと段位置との関係を具体的に示す説明図である。腕首の回転可能な範囲を、後ろ上方向（θ＝−４５度）から前下方向（θ＝＋１３５度）までの範囲とすると、図１５（ａ）に示すように、フェイス３１０の向きＦＤが前下方向（θ＝＋１３５度）にあるときに「あ段」とし、図１５（ｂ）に示すように、フェイス３１０の向きＦＤが前方向（θ＝＋９０度）にあるときに「い段」とし、図１５（ｃ）に示すように、フェイス３１０の向きＦＤが前上方向（θ＝＋４５度）にあるときに「う段」とし、図１５（ｄ）に示すように、フェイス３１０の向きＦＤが上方向（θ＝＋０度）にあるときに「え段」とし、図１５（ｅ）に示すように、フェイス３１０の向きＦＤが後上方向（θ＝−４５度）にあるときに「お段」とする。
【０１０３】
より詳細には、
＋９９度≦θ≦＋１３５度であるときに「あ段」とし、
＋６３度≦θ＜＋９９度であるときに「い段」とし、
＋２７度≦θ＜＋６３度であるときに「う段」とし、
−９度≦θ＜＋２７度であるときに「え段」とし、
−４５度≦θ＜−９度であるときに「お段」とする。
【０１０４】
入力ボードＰ１２においては、段位置が切り替わる方向が縦方向である。一方、使用者は、時計を見るときのように前腕を胸の前に差し出した上で、腕首を回転させる。このため、腕首の回転方向、すなわち、回転角度θが変化する方向と、入力ボードＰ１２おける選択キーＳＫを移動する方向とは一致する。なお、前腕を胸の前に差し出した上で、腕首を回転させるとしたのは、本実施形態では、前腕を胸の前に差し出して、フェイスの向きを自身とは反対の側に向けたときを、文字入力を開始するトリガーとしたためである。
【０１０５】
図９のステップＳ１８０またはステップＳ１９０の実行後、メインプロセッサー１４０は、位置移動がなされた選択キーＳＫを確定する操作がなされたか否かを判定する（ステップＳ１９２）。本実施形態では、確定の操作は、手首でとんとんと扉をたたくノック動作であると予め定められている。ステップＳ１９２では、腕時計型デバイス３００からフェイス３１０の位置と向きを取得し、その取得した位置と向きからノック動作がなされたか否かを判定する。ノック動作がなされたと判定されたときに、確定の操作がなされたものとする。
【０１０６】
ステップＳ１９２で確定の操作がなされていないと判定されると、ステップＳ１５０に処理を戻して、腕時計型デバイス３００によって選択キーＳＫの位置を変更する操作を繰り返し実行する。ステップＳ１９２で確定の操作がなされたと判定されると、ステップＳ１９４に処理を進める。
【０１０７】
ステップＳ１７０で、使用者の腕の動きが「回転」でも「軸移動」でもないと判定されたときには、ステップＳ１５０に処理を戻して、腕時計型デバイス３００によって選択キーＳＫの位置を変更する操作を改めて行う。
【０１０８】
図１６〜図１８は文字入力の変遷を示す説明図である。いま、文字入力画面Ｐ１０が図１２に示す状態にあるとし、「す」の文字を入力する操作手順は次の通りとなる。使用者は、まず、腕を肘から曲げる操作を行うことによって、選択キーＳＫを「さ行」に移動する。この結果、図１６に示すように、選択キーＳＫは「さ」の文字を特定する。次いで、使用者は、上腕を回転する操作を行うことによって、選択キーＳＫを「う段」に移動する。この結果、図１７に示すように、選択キーＳＫは「す」の文字を特定する。その後、使用者は、ノック動作を行うことで、選択キーＳＫによって特定された「す」の文字を確定することができる。この結果、図１８に示すように、メモ領域Ｐ１１に「す」の文字が入力される。
【０１０９】
Ａ−５．実施形態の効果について：
以上のように構成された第１実施形態の表示システムによれば、使用者は、腕時計型デバイス３００が装着された腕を周方向に回転させることで、入力ボードＰ１２において母音が切り替わる段位置を変更することができ、その腕を肘から折り曲げることで、入力ボードＰ１２において子音が切り替わる行位置を変更することができる。腕の周方向の動きは、一方向の単純な動きであり、かつ比較的大きな動きであることから、高度な検出機能を必要としない。腕を折り曲げる動きについても、単純な動きであり、かつ比較的大きな動きであることから、高度な検出機能を必要としない。また、腕時計型デバイス３００の側にこれらの検出機能が設けられている。これらのことから、ＨＭＤ１００の入力ボードＰ１２に対する操作を行うに際し、ＨＭＤ１００の処理負荷を低減することができる。また、使用者は、腕時計型デバイス３００が装着された腕を動かすだけで、日本語のひらがなの入力を行うことができることから、ＨＭＤ１００は操作性に優れている。
【０１１０】
また、本実施形態の表示システムによれば、腕首の回転方向、すなわち、回転角度θが変化する方向と、入力ボードＰ１２おける選択キーＳＫを移動する方向とが一致するようにして入力操作を行うことから、使用者は直感的に腕時計型デバイス３００の操作を行うことができる。この結果、ＨＭＤ１００は操作性に優れている。
【０１１１】
さらに、本実施形態では、腕時計型デバイス３００のフェイス３１０の向きが使用者に対して前下方向にあるときに「あ段」に切り替え、前記フェイスの向きが使用者に対して後上方向にあるときに「お段」に切り替えるものである。腕首を周方向に回転させるに際し、フェイス３１０の向きを前下方向を起点として、後上方向に向かって手前側に回す操作は、人間にとって自然な動きである。この自然な動きをあ段からお段に動かす操作とすることから、ＨＭＤ１００はより操作性に優れている。
【０１１２】
Ｂ．第２実施形態：
前記第１実施形態では、腕首の周方向の回転角度θのそれぞれに対して、入力ボードＰ１２における段位置が決められていた。これに対して、第２実施形態では、この段位置の決定の仕方を異なったものとし、残余の構成については第１実施形態と同一のものとした。同一の構成要素には第１実施形態と同一の符号を付けて、以下の説明を行う。
【０１１３】
図１９は、第２実施形態における段位置の決定の仕方を示す説明図である。腕首の周方向の回転角度θが例えば４５度のとき、すなわち、腕時計型デバイス３００のフェイス３１０の向きＦＤが前右方向にあるときを基準位置として、その基準位置からマイナス方向（手前方向）にフェイス３１０の向きＦＤを回転させた場合に段位置を下げ、その基準位置からプラス方向（奥方向）にフェイス３１０の向きＦＤを回転させた場合に段位置を上げる構成とした。
【０１１４】
具体的には、フェイス３１０の向きＦＤを基準位置からマイナス方向（手前方向）に傾け（傾けた角度は問わない）、その傾けた状態を保持すると、その保持した時間が進むに連れ、入力ボードＰ１２における段位置が「お段」の方向に順次進む。すなわち、その保持した時間が長いほど、「お段」の方向への進む量が増加される。その後、フェイス３１０の向きＦＤをプラス方向に戻すことで、その増加は停止される。フェイス３１０の向きＦＤを基準位置からプラス方向（奥方向）に傾け（傾けた角度は問わない）、その傾けた状態を保持すると、その保持した時間が進むに連れ、入力ボードＰ１２における段位置が「あ段」の方向に順次進む。すなわち、その保持した時間が長いほど、「あ段」の方向への進む量が増加される。その後、フェイス３１０の向きＦＤをマイナス方向に戻すことで、その増加は停止される。
【０１１５】
以上のように構成された第２実施形態の表示システムによれば、使用者は、腕時計型デバイス３００が装着された腕を動かすだけで、操作性よく、日本語のひらがなの入力を行うことができる。また、腕の周方向の動きは簡単に検出することができることから、高度な検出機能を必要とせず、ＨＭＤ１００の処理負荷を低減できる。
【０１１６】
第２実施形態において、前記基準位置は、腕首の周方向の回転角度θが４５度となる位置に限る必要はなく、これに替えて、回転角度θが例えば９０度、すなわち、フェイス３１０の向きＦＤが前方向となる位置等、いろいろな回転角度θの位置としてもよい。また、基準位置は、回転角度θが一点の位置に限る必要はなく、ある程度の幅を持った位置としてもよい。例えば、回転角度θが３５〜５５度の範囲内を基準位置としてもよい。基準位置は、予め定めた値や範囲に限る必要もなく、使用者が自在に変更可能な構成としてもよい。
【０１１７】
さらに、基準位置を設けずに、フェイス３１０の向きＦＤを止めた状態からマイナス方向（手前方向）に傾け（傾けた角度は問わない）、その傾けた状態を保持すると、その保持した時間が進むに連れ、入力ボードＰ１２における段位置が「お段」の方向に順次進む。その後、フェイス３１０の向きＦＤをプラス方向に戻すことで、その増加は停止される。また、フェイス３１０の向きＦＤを止めた状態からプラス方向（奥方向）に傾け（傾けた角度は問わない）、その傾けた状態を保持すると、その保持した時間が進むに連れ、入力ボードＰ１２における段位置が「あ段」の方向に順次進む。その後、フェイス３１０の向きＦＤをマイナス方向に戻すことで、その増加は停止される。
【０１１８】
第２実施形態では、フェイス３１０の向きＦＤを基準位置からマイナス方向に傾けたときに段下げし、フェイス３１０の向きＦＤを基準位置からプラス方向に傾けたときを段上げする構成としたが、これに替えて、マイナス方向に傾けたときに段上げし、プラス方向に傾けたときに段下げする構成としてもよい。
【０１１９】
Ｃ．第３実施形態：
前記第１実施形態および第２実施形態では、使用者は、前腕を胸の前に差し出した状態で、腕首を周方向に動かすことによって、入力ボードＰ１２に対する操作を行う構成とした。これに対して、第３実施形態では、腕を下げた状態で、腕首を周方向に動かすことによって、入力ボードＰ１２に対する操作を行う構成としてもよい。本実施形態では、残余の構成については第１実施形態と同一のものとした。同一の構成要素には第１実施形態と同一の符号を付けて、以下の説明を行う。
【０１２０】
図２０は、第２実施形態における入力ボードＰ１２に対する操作の仕方を示す説明図である。第２実施形態では、使用者が腕を第１実施形態のように上げることなく、下げた状態で、腕首を周方向に動かす動作を、ＨＭＤ４００は、腕時計型デバイス３００に備えられる６軸センサーの検出信号と磁気センサーの検出信号から検出し、その検出した動作に応じて、入力ボードＰ１２における母音の段位置を変更する。
【０１２１】
母音の段位置の変更の仕方は、第１実施形態と同様に、腕首の周方向の回転角度θのそれぞれに対して段位置が定まる構成としてもよいし、第２実施形態と同様に、基準位置に対する回転の方向に応じて、段位置を移動する方向を決定する構成としてもよい。
【０１２２】
以上のように構成された第３実施形態の表示システムによれば、第１および第２実施形態の表示システムと同様に、使用者は、腕時計型デバイス３００が装着された腕を動かすだけで、操作性よく、日本語のひらがなの入力を行うことができる。また、腕の周方向の動きは簡単に検出することができることから、高度な検出機能を必要とせず、ＨＭＤ４００の処理負荷を低減できる。
【０１２３】
Ｄ．第４実施形態：
前記第１〜第３実施形態およびそれらの変形例では、操作の対称である操作画面を、日本語のひらがなを入力する入力ボードＰ１２とした。これに対して、第４実施形態では、操作画面を、商品を注文するためのスクローリングリストとし、残余の構成については第１実施形態と同一のものとした。同一の構成要素には第１実施形態と同一の符号を付けて、以下の説明を行う。
【０１２４】
図２１は、商品を注文するためのスクローリングリストＬＴの一例を示す説明図である。図示するように、使用者によって視認される視野ＶＲ３には、画像表示部２０（図１）の光学像表示部２６，２８を透過した外景ＳＣとともに、画像表示部２０によって表示されたスクローリングリストＬＴが含まれる。
【０１２５】
スクローリングリストＬＴは、商品の選択肢が格納される選択肢欄が５つ用意されている。１番前側に第１の選択肢欄ＬＴ１が配置され、うしろ側の２列目に第２の選択肢欄ＬＴ２と第３の選択肢欄ＬＴ３とが配置され、うしろ側の３列目に第４の選択肢欄ＬＴ４と第５の選択肢欄ＬＴ５とが配置されている。図示するように、第１〜第５の選択肢欄ＬＴ１〜ＬＴ５には、「弁当」、「お茶」、「おにぎり」、「コーヒー」、「サンドウィッチ」がこの順に格納されている。１番前側にある第１の選択肢欄ＬＴ１が選択状態となっている（図中ではハッチして示した）。なお、この選択肢欄の数は本実施形態では５つとしたが、５つに限る必要はなく、他の複数の数とすることができる。
【０１２６】
本実施形態では、腕時計型デバイス３００が装着された腕の周方向の動きに応じて、スクローリングリストＬＴが回転する。具体的には、第２実施形態と同様に、基準位置に対する回転の方向に応じて、スクローリングリストＬＴの回転方向が決定される。スクローリングリストＬＴが回転すると、第１〜第５の選択肢欄ＬＴに格納される商品が順次移動する。この結果、第１の選択肢欄ＬＴ１に格納される商品が移動し、選択状態にある商品を指示することができる。
【０１２７】
以上のように構成された第４実施形態の表示システムによれば、一軸で回転するスクローリングリストＬＴの操作を、腕の周方向の動きによって操作性よく行うことができる。また、腕の周方向の動きは簡単に検出することができることから、高度な検出機能を必要とせず、ＨＭＤの処理負荷を低減できる。
【０１２８】
Ｅ．変形例：
なお、この発明は第１〜第４実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
【０１２９】
・変形例１：
各実施形態および変形例では、入力装置としての腕時計型デバイスを装着した腕の周方向の動きに応じて、操作画面としての入力ボードＰ１２を操作する構成とした。これに対して、変形例として、脚の周方向の動きに応じて、操作画面としての入力ボードＰ１２を操作する構成としてもよい。
【０１３０】
図２２は、変形例１としての表示システムに備えられる入力装置としてのバンド型デバイスを示す説明図である。バンド型デバイス５００は、ＨＭＤを装着した使用者の脚の脚首近くに装着される。バンド型デバイス５００は、第１〜第４実施形態で用いられた腕時計型デバイスと同様に、６軸センサーと磁気センサーとを備えており、これらの検出信号から脚の周方向の動きを検出することができる。検出した脚の周方向の動きに応じて、操作画面としての入力ボードＰ１２を操作する。具体的には、脚の周方向の動きに応じて、入力ボードＰ１２において母音が切り替わる段位置を変更する。さらに、６軸センサーと磁気センサーとによって、脚の膝（関節）より先端側部分（下腿）の傾き（折れ曲がり角度）を検出し、脚の周方向の動きに加えて下腿の傾きに応じて、操作画面としての入力ボードＰ１２を操作する構成としてもよい。具体的には、下腿の傾きに応じて、入力ボードＰ１２において子音が切り替わる行位置を変更する。この変形例１によれば、脚によって操作画面に対する操作を行うことができ、操作性に優れている。
【０１３１】
さらに、第１実施形態と変形例１とを組み合わせた構成として、腕時計型デバイスを装着した腕の周方向の動きと脚の周方向の動きとの双方に応じて、操作画面としての入力ボードＰ１２を切り替える構成としてもよい。具体的には、腕の周方向の動きに応じて例えば段位置を変更し、脚の周方向の動きに応じて例えば行位置を変更してもよい。
【０１３２】
・変形例２：
各実施形態および変形例では、腕の周方向の動きに応じて入力ボードＰ１２において段位置を切り替え、腕の軸線の傾きに応じて入力ボードＰ１２において行位置を切り替える構成とした。これに対して、変形例として、腕の周方向の動きに応じて行位置を切り替え、腕の軸線の傾きに応じて段位置を切り替える構成としてもよい。
【０１３３】
・変形例３：
第１および第２実施形態では、前腕を胸の前に差し出して、フェイスの向きを自身とは反対の側に向けたときを、文字入力を開始するトリガーとした。これに対して、変形例として、ＧＵＩとしてのボタンが制御装置１０によって指示されたときや、文字入力を必要とするアプリケーションが起動したとき、カメラ６１によって腕時計型ウェアラブルデバイス３００が検知されたとき、等を上記トリガーとしてもよい。
【０１３４】
・変形例４：
各実施形態および変形例では、６軸センサーと磁気センサーとによって、腕の周方向の動きを検出する構成であったが、必ずしも６軸センサーと磁気センサーとを用いる必要はなく、例えば６軸センサーだけとすることもできる。また、６軸センサーは３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備える構成であるが、６軸センサーに替えて、３軸加速度センサーを用いる構成としてもよい。さらに、６軸センサーに替えて、２軸加速度センサーを用いる構成としてもよく、２軸以上の加速度センサーであればよい。さらに、加速度センサーに限る必要はなく、入力装置に備えられるデバイスであって、腕の周方向の動きを検出することが直接もしくは間接的に検出できる構成であれば、いずれの構成とすることもできる。
【０１３５】
・変形例５：
各実施形態および変形例では、位置移動がなされた選択キーを確定する操作としてノック動作を行う構成とした。これに対して変形例として、腕を大きく振る動作や、脚をタップする動作などを確定する操作としてもよい。
【０１３６】
・変形例６：
各実施形態および変形例では、操作画面は、日本語のひらがなの５０音を入力するためのひらがな入力ボードであった。これに対して変形例として、操作画面は、英字を入力するための英字入力ボードであってもよい。
【０１３７】
図２３は、英字入力ボードを示す説明図である。英字入力ボードＸ１２は、縦に４個、横に１０個の合計４０個のキーＸＫＹが配列された構成である。第１行目には、左から右方向に向かって、「Ａ」から「Ｊ」までの英字が割り当てられている。第２行目には、左から右方向に向かって、「Ｋ」から「Ｔ」までの英字が割り当てられている。第３行目には、左から右方向に向かって、「Ｕ」から「Ｚ」までの英字と「（」と「）」と「［」と「］」が割り当てられている。第４行目には、左から右方向に向かって、「−」、「＿」、「／」、「；」等の記号が割り当てられている。
【０１３８】
上記英字入力ボードＸ１２を備える変形例６によれば、第１実施形態と同様に、腕時計型デバイス３００が装着された腕を周方向に回転させることで、入力ボードＸ１２において選択キーＸＳＫを縦方向に移動することができ、上腕を回転する操作を行うことによって、選択キーＸＳＫを横方向に移動することができる。このため、使用者は、腕時計型デバイス３００が装着された腕を動かすだけで、日本語のひらがなの入力を行うことができることから、この変形例のＨＭＤは操作性に優れている。
【０１３９】
・変形例７：
各実施形態および変形例では、入力装置は腕または脚に装着するバンド型とした。これに対して、変形例として、他の形のウェアラブルデバイスや、ウェアラブルデバイスに換えて、ペン型のデバイスや、携帯電話、スマートフォン等を手で握ることによって、これらから腕の周方向の動きを検出する構成としてもよい。
【０１４０】
・変形例８：
各実施形態および変形例では、入力装置は計時機能を有する腕時計型のウェアラブルデバイスとした。これに対して、変形例として、計時機能を有しないリストバンド型のウェアラブルデバイスとしてもよい。この場合に、リストバンド型ウェアラブルデバイスはフェイスを有しないことから、使用者はリストバンド型ウェアラブルデバイスがどの向きにあるか判りづらい。これを解決するために、リストバンド型ウェアラブルデバイスの所定位置に、目印としての特定形状の部位や、発光部等を設ける構成としてもよい。また、目印の替わりに、リストバンド型ウェアラブルデバイスの向きや、回転状態（回転の方向や、静止中である等）等を画像表示部２０に表示させる構成としてもよい。なお、向きか回転状態を画像表示部２０に表示させる構成は、腕時計型ウェアラブルデバイスを採用した各実施形態においても付加する構成としてもよい。
【０１４１】
・変形例９：
第１〜第３実施形態では操作画面を縦方向と横方向にキーが並ぶ入力ボードとし、第４実施形態では操作画面をスクローリングリストとしたが、操作画面はこれらに限る必要はなく、少なくとも１軸方向にキーが並ぶ構成であればいずれの構成とすることもできる。
【０１４２】
・変形例１０：
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
【０１４３】
・変形例１１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
【０１４４】
上記実施形態では、右導光板２６および左導光板２８が外光を透過する、いわゆる透過型のＨＭＤ１００について説明した。しかし、本発明は、例えば、外景を透過しないで画像を表示する、いわゆる非透過型のＨＭＤ１００に適用することもできる。また、非透過型のＨＭＤ１００には、カメラで外景を撮像して、その撮像画像を表示部に表示すれば良い。これらのＨＭＤ１００では、上記実施形態で説明した実空間に重畳して画像を表示するＡＲ（Augmented Reality）表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するＭＲ（Mixed Reality）表示、あるいは、仮想空間を表示するＶＲ（Virtual Reality）表示を行うこともできる。
【０１４５】
上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶機能部１２２および制御機能部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶機能部１２２および制御機能部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。
【０１４６】
・変形例１２：
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
【０１４７】
上記実施形態では、制御装置１０が備える入力手段の一例について説明した。しかし、制御装置１０は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置１０は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置１０は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部２０の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ６１により経時的に撮影された画像を画像解析することにより実現できる。
【０１４８】
上記実施形態では、制御機能部１５０は、メインプロセッサー１４０が記憶機能部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部１２２に代えて、または記憶機能部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェースに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御機能部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。
【０１４９】
・変形例１３：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
【０１５０】
図２４は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。
【０１５１】
左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。
【０１５２】
変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。
【０１５３】
上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。
【０１５４】
上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。
【０１５５】
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１５６】
０…制御装置、１２…点灯部、１４…タッチパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…頭部装着型表示装置（ＨＭＤ）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…通信制御部、１５５…文字入力部、１８０…音声コーデック、１８２…音声インターフェース、１８４…外部コネクター、１８６…外部メモリーインターフェース、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェース、２１０…表示ユニット基板、２１１…インターフェース、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェース、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、３００…腕時計型ウェアラブルデバイス、３１０…フェイス、３２０…ケース、３３０…バンド、３５０…計時部、３６０…プロセッサー、３７０…６軸センサー、３８０…磁気センサー、３９０…無線通信部、５００…バンド型デバイス
【図１】
2018124651.tif 000003
【図２】
2018124651.tif 000004
【図３】
2018124651.tif 000005
【図４】
2018124651.tif 000006
【図５】
2018124651.tif 000007
【図６】
2018124651.tif 000008
【図７】
2018124651.tif 000009
【図８】
2018124651.tif 000010
【図９】
2018124651.tif 000011
【図１０】
2018124651.tif 000012
【図１１】
2018124651.tif 000013
【図１２】
2018124651.tif 000014
【図１３】
2018124651.tif 000015
【図１４】
2018124651.tif 000016
【図１５】
2018124651.tif 000017
【図１６】
2018124651.tif 000018
【図１７】
2018124651.tif 000019
【図１８】
2018124651.tif 000020
【図１９】
2018124651.tif 000021
【図２０】
2018124651.tif 000022
【図２１】
2018124651.tif 000023
【図２２】
2018124651.tif 000024
【図２３】
2018124651.tif 000025
【図２４】
2018124651.tif 000026