(57)【要約】【課題】文字や文字列で構成されるデータを入力する際に、データの秘匿性を維持して、入力に関する操作の負担を軽減する。【解決手段】表示部と、入力を受け付ける第１入力部と、第１入力部とは異なる方法による入力を受け付ける第２入力部と、文字入力用のユーザーインターフェイスを表示して、文字または文字列を入力する入力モードを実行する制御部１５０と、を備え、制御部１５０は、第１入力部で受け付けた入力に対応して補助データを表示させ、第２入力部で受け付けた入力に対応して補助データを編集し、編集後のデータをユーザーインターフェイスに入力する。補助データは第１属性および第２属性を有し、第１属性はユーザーインターフェイスで入力すべき正規データと共通であり、第２属性は正規データと異なるデータである。【選択図】図３
2019145008.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着される表示部と、
前記使用者による入力を受け付ける第１入力部と、
前記第１入力部とは異なる方法による前記使用者の入力を受け付ける第２入力部と、
前記表示部により文字入力用のユーザーインターフェイスを表示して、文字または文字列を入力する入力モードを実行する入力制御部と、を備え、
前記入力制御部は、前記入力モードで、前記第１入力部で受け付けた入力に対応して補助データを前記ユーザーインターフェイスに配置して表示させ、前記第２入力部で受け付けた入力に対応して前記補助データを編集し、編集後のデータを前記ユーザーインターフェイスに入力し、
前記補助データは第１属性および第２属性を有し、第１属性は前記ユーザーインターフェイスで入力すべき正規データと共通であり、第２属性は前記正規データと異なるデータである、頭部装着型表示装置。
【請求項２】
前記補助データ及び前記正規データは文字列で構成され、前記第１属性は文字数であり、前記第２属性はいずれか１以上の文字である、請求項１記載の頭部装着型表示装置。
【請求項３】
前記正規データを、前記第１入力部で受け付ける入力に対応づけて記憶する記憶部を備え、
前記入力制御部は、前記第１入力部で受け付けた入力に対応して前記記憶部に記憶された前記正規データをもとに前記補助データを生成し、前記ユーザーインターフェイスに配置して表示させる、請求項１または２記載の頭部装着型表示装置。
【請求項４】
前記正規データと、前記補助データと、前記第１入力部で受け付ける入力とを対応づけて記憶する記憶部を備え、
前記入力制御部は、前記第１入力部で受け付けた入力に対応して前記記憶部に記憶された前記補助データを前記ユーザーインターフェイスに配置して表示させる、請求項１または２記載の頭部装着型表示装置。
【請求項５】
前記ユーザーインターフェイスはデータの入力を要する複数の入力領域を有し、前記入力制御部は、いずれかの前記入力領域に前記補助データを配置して表示させる、請求項１から４のいずれか１項に記載の頭部装着型表示装置。
【請求項６】
前記入力制御部は、前記第２入力部で受け付けた入力に対応して前記補助データを編集した後、前記第１入力部または前記第２入力部による入力を受け付けた場合に、編集後のデータを入力する、請求項１から５のいずれか１項に記載の頭部装着型表示装置。
【請求項７】
第３入力部を備え、
前記入力制御部は、前記第２入力部で受け付けた入力に対応して前記補助データを編集した後、前記第３入力部による入力を受け付けた場合に、編集後のデータを入力する、請求項１から５のいずれか１項に記載の頭部装着型表示装置。
【請求項８】
前記第１入力部または前記第２入力部は、音声による入力を検出する、請求項１から７のいずれか１項に記載の頭部装着型表示装置。
【請求項９】
撮像部を備え、
前記第１入力部または前記第２入力部は、前記撮像部で撮像された撮像画像から指示体の位置及び動きの少なくともいずれかによる入力を検出する、請求項１から８のいずれか１項に記載の頭部装着型表示装置。
【請求項１０】
撮像部を備え、
前記第１入力部または前記第２入力部は、前記撮像部で撮像された撮像画像から画像化されたコードを検出する、請求項１から８のいずれか１項に記載の頭部装着型表示装置。
【請求項１１】
撮像部を備え、
前記第１入力部または前記第２入力部は、前記撮像部で撮像された撮像画像に含まれる被写体の画像を入力として検出する、請求項１から８のいずれか１項に記載の頭部装着型表示装置。
【請求項１２】
使用者の頭部に装着される表示部を備える頭部装着型表示装置の制御方法であって、
前記表示部により文字入力用のユーザーインターフェイスを表示して、文字または文字列を入力する入力モードを実行可能であり、
前記使用者による第１入力と、前記第１入力とは異なる方法による第２入力とを受け付け、
前記入力モードにおいて、第１属性および第２属性を有するデータであって、第１属性は前記ユーザーインターフェイスで入力すべき正規データと共通であり、第２属性は前記正規データと異なる補助データを、前記第１入力に対応して前記ユーザーインターフェイスに配置して表示し、
前記第２入力に対応して前記補助データを編集し、
編集後のデータを前記ユーザーインターフェイスに入力する、頭部装着型表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、パスワード等の文字や文字列の入力に関し、入力される情報の秘匿性をなるべく維持して、入力を補助する手段が提案されている（例えば、特許文献１参照）。特許文献１は、ログオン画面で入力されるパスワードを入力する際に、ドラム状のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示する手法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１７４０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の構成では、ドラム状のＧＵＩを操作して１文字ずつ入力を行うことで、パスワードが容易に漏洩しないようにしている。しかしながら、この種の方法では、入力したい文字列の文字数が多い場合など、入力に要する手間が多くなり、操作の負担が大きくなるという問題があった。
本発明は、文字や文字列で構成されるデータを入力する際に、データの秘匿性を維持して、入力に関する操作の負担を軽減することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の頭部装着型表示装置は、使用者の頭部に装着される表示部と、前記使用者による入力を受け付ける第１入力部と、前記第１入力部とは異なる方法による前記使用者の入力を受け付ける第２入力部と、前記表示部により文字入力用のユーザーインターフェイスを表示して、文字または文字列を入力する入力モードを実行する入力制御部と、を備え、前記入力制御部は、前記入力モードで、前記第１入力部で受け付けた入力に対応して補助データを前記ユーザーインターフェイスに配置して表示させ、前記第２入力部で受け付けた入力に対応して前記補助データを編集し、編集後のデータを前記ユーザーインターフェイスに入力し、前記補助データは第１属性および第２属性を有し、第１属性は前記ユーザーインターフェイスで入力すべき正規データと共通であり、第２属性は前記正規データと異なるデータである。
本発明によれば、ユーザーインターフェイスに文字または文字列を入力する場合に、入力すべき文字又は文字列と共通する属性および異なる属性を有する補助データが表示されるので、補助データを編集することで、正規の文字または文字列を入力できる。このため、正規の文字または文字列の秘匿性を維持し、入力操作の負担を軽減できる。さらに、使用者の頭部に装着される表示部に、正規の文字または文字列とは異なる補助データを表示するので、入力されるデータの秘匿性をより確実に保持できる。
【０００６】
また、本発明は、前記補助データ及び前記正規データは文字列で構成され、前記第１属性は文字数であり、前記第２属性はいずれか１以上の文字である構成であってもよい。
この構成によれば、文字または文字列を入力する場合に、正規の文字または文字列と文字数が共通であり、いずれか１以上の文字が異なる補助データが表示されるので、ユーザーインターフェイスに文字または文字列を入力する操作の負担を軽減できる。
【０００７】
また、本発明は、前記正規データを、前記第１入力部で受け付ける入力に対応づけて記憶する記憶部を備え、前記入力制御部は、前記第１入力部で受け付けた入力に対応して前記記憶部に記憶された前記正規データをもとに前記補助データを生成し、前記ユーザーインターフェイスに配置して表示させる構成であってもよい。
この構成によれば、正規の文字または文字列に対応してユーザーインターフェイスに表示される補助データを生成するので、補助データを予め記憶させておく必要がなく、効率よく処理を行える。
【０００８】
また、本発明は、前記正規データと、前記補助データと、前記第１入力部で受け付ける入力とを対応づけて記憶する記憶部を備え、前記入力制御部は、前記第１入力部で受け付けた入力に対応して前記記憶部に記憶された前記補助データを前記ユーザーインターフェイスに配置して表示させる構成であってもよい。
この構成によれば、ユーザーインターフェイスに表示される補助データを、使用者の操作に対応付けて記憶するので、使用者の操作に対応する適切な補助データを表示させることができる。また、操作に対応して表示される補助データを使用者が容易に認識できるので、補助データを編集する操作の負担を効果的に軽減できる。
【０００９】
また、本発明は、前記ユーザーインターフェイスはデータの入力を要する複数の入力領域を有し、前記入力制御部は、いずれかの前記入力領域に前記補助データを配置して表示させる構成であってもよい。
この構成によれば、ユーザーインターフェイスに配置される入力領域の一部に対し、補助データを編集する方法により文字または文字列を容易に入力できる。
【００１０】
また、本発明は、前記入力制御部は、前記第２入力部で受け付けた入力に対応して前記補助データを編集した後、前記第１入力部または前記第２入力部による入力を受け付けた場合に、編集後のデータを入力する構成であってもよい。
この構成によれば、補助データを編集したデータを確定させるか否かを操作者が指示できるので、誤入力を防止できる。
【００１１】
また、本発明は、第３入力部を備え、前記入力制御部は、前記第２入力部で受け付けた入力に対応して前記補助データを編集した後、前記第３入力部による入力を受け付けた場合に、編集後のデータを入力する構成であってもよい。
この構成によれば、補助データを編集したデータを確定させるか否かを、第１入力部および第２入力部で検出される操作とは異なる操作によって操作者が指示できるので、誤入力を防止できる。
【００１２】
また、本発明は、前記第１入力部または前記第２入力部は、音声による入力を検出する構成であってもよい。
この構成によれば、補助データの表示または補助データの編集に関する操作を音声により行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【００１３】
また、本発明は、撮像部を備え、前記第１入力部または前記第２入力部は、前記撮像部で撮像された撮像画像から指示体の位置及び動きの少なくともいずれかによる入力を検出する構成であってもよい。
この構成によれば、指示体の位置及び／または動きによって、補助データの表示または補助データの編集に関する操作を行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【００１４】
また、本発明は、撮像部を備え、前記第１入力部または前記第２入力部は、前記撮像部で撮像された撮像画像から画像化されたコードを検出する構成であってもよい。
この構成によれば、画像化されたコードを撮像させることによって、補助データの表示または補助データの編集に関する操作を行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【００１５】
また、本発明は、撮像部を備え、前記第１入力部または前記第２入力部は、前記撮像部で撮像された撮像画像に含まれる被写体の画像を入力として検出する構成であってもよい。
この構成によれば、被写体を撮像させることによって、補助データの表示または補助データの編集に関する操作を行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【００１６】
また、上記課題を解決するため、本発明は、使用者の頭部に装着される表示部を備える頭部装着型表示装置の制御方法であって、前記表示部により文字入力用のユーザーインターフェイスを表示して、文字または文字列を入力する入力モードを実行可能であり、前記使用者による第１入力と、前記第１入力とは異なる方法による第２入力とを受け付け、前記入力モードにおいて、第１属性および第２属性を有するデータであって、第１属性は前記ユーザーインターフェイスで入力すべき正規データと共通であり、第２属性は前記正規データと異なる補助データを、前記第１入力に対応して前記ユーザーインターフェイスに配置して表示し、前記第２入力に対応して前記補助データを編集し、編集後のデータを前記ユーザーインターフェイスに入力する。
本発明によれば、ユーザーインターフェイスに文字列を入力する場合に、入力すべき正規データと共通する属性および異なる属性を有する補助データが表示されるので、補助データを編集することで正規データを入力できる。このため、正規データの秘匿性を維持し、正規データを入力する操作を容易にすることができる。さらに、使用者の頭部に装着される表示部に、正規の文字または文字列とは異なる補助データを表示するので、入力されるデータの秘匿性をより確実に保持できる。
【図面の簡単な説明】
【００１７】
【図１】ＨＭＤの外観構成を示す説明図。
【図２】ＨＭＤの構成を示すブロック図。
【図３】制御装置の機能ブロック図。
【図４】入力補助データの構成例を示す模式図。
【図５】ＨＭＤの動作を示すフローチャート。
【図６】ＨＭＤにより表示される画面の構成例を示す図。
【図７】ＨＭＤにより表示される画面の構成例を示す図。
【図８】ＨＭＤにより表示される画面の構成例を示す図。
【図９】ＨＭＤにより表示される画面の構成例を示す図。
【図１０】ＨＭＤにより表示される画面の構成例を示す図。
【図１１】ＨＭＤにより表示される画面の構成例を示す図。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照しながら本発明の実施形態について説明する。図１は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００の外観構成を示す図である。
【００１９】
ＨＭＤ１００は、画像表示部２０と、画像表示部２０を制御する制御装置としてのコントローラー１０とを備える。
画像表示部２０は、本実施形態では眼鏡形状を有し、使用者Ｕの頭部に装着される。画像表示部２０は、装着状態で使用者Ｕに虚像を視認させる。画像表示部２０が虚像を視認させる機能は「表示」であるということができ、画像表示部２０は、本発明の「表示部」に相当する。
【００２０】
コントローラー１０は、箱形の本体１１に、後述するように使用者Ｕの操作を受け付ける被操作部を備え、使用者ＵがＨＭＤ１００を操作するデバイスとしても機能する。
【００２１】
画像表示部２０は、右保持部２１、左保持部２３、前部フレーム２７、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び、左導光板２８を備える。右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。
【００２２】
右導光板２６及び左導光板２８は、前部フレーム２７に固定される。画像表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の眼前に位置し、左導光板２８は使用者Ｕの左眼の眼前に位置する。
【００２３】
右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
【００２４】
右導光板２６及び左導光板２８は、光を透過する樹脂等によって形成される光学部品であり、例えばプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者Ｕの左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認する。
【００２５】
ＨＭＤ１００はシースルー型の表示装置であり、使用者Ｕの右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、使用者Ｕの左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させる。使用者Ｕには、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて画像光による画像が視認される。
【００２６】
画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光する。
カメラ６１（撮像部）は、右導光板２６及び左導光板２８を透過する外光を遮らない位置で、前部フレーム２７に配設される。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
【００２７】
カメラ６１は、撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。カメラ６１の撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）イメージセンサー等を採用できる。カメラ６１は、制御部１５０（図３）の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。
【００２８】
使用者Ｕが画像表示部２０を装着した状態で、カメラ６１は使用者Ｕの正面方向を向く。このため、画像表示部２０の装着状態で、カメラ６１の撮像範囲（或いは、画角）は、使用者Ｕの視界の少なくとも一部を含み、詳細には、使用者Ｕが画像表示部２０を透過して視認する外景の少なくとも一部を含む。さらに、使用者Ｕが画像表示部２０を透過して視認する視界の全体が、カメラ６１の画角に含まれることが好ましい。
前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、カメラ６１の動作中に点灯して、撮像中であることを報知する。
【００２９】
前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよい。この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。
【００３０】
コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。本体１１は、接続ケーブル４０が着脱可能に接続されるコネクター４２を備える。
接続ケーブル４０はオーディオコネクター４６を有し、オーディオコネクター４６にヘッドセット３０が接続される。ヘッドセット３０は、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有する。
【００３１】
右イヤホン３２は、使用者Ｕの右耳に装着され、左イヤホン３４は、使用者Ｕの左耳に装着される。マイク６３は、音声を集音して、音声信号を音声処理部１８０（図２）に出力する。
【００３２】
コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。
【００３３】
操作パッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は、静電式、圧力検出式、光学式等を利用でき、特定の方式に限定されない。操作パッド１４は、接触が検出された操作面の位置を示す信号を制御部１５０に出力する。
【００３４】
ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）表示部１７は、光を透過可能な透過部に埋設されたＬＥＤを点灯させることで、透過部に形成された文字、記号、模様等を表示する。この表示の表面はタッチセンサー１７２（図２）によってタッチ操作を検出可能な領域である。従って、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。本体１１は、コントローラー１０を外部の装置に接続するインターフェイスとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクター１９を備える。
【００３５】
図２は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。
【００３６】
メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコントローラー１９９、センサーハブ１９３及びＦＰＧＡ１９５が接続される。これらは外部とのインターフェイスとして機能する。
【００３７】
メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装される。また、外部メモリーインターフェイス１９１、センサーハブ１９３、ＦＰＧＡ１９５、及びＵＳＢコントローラー１９９をコントローラー基板１２０に実装してもよい。また、ＵＳＢコネクター１９、コネクター４２、及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。
【００３８】
メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及びメインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ  Ｍｕｌｔｉ  Ｍｅｄｉａ  Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。
【００３９】
操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５、及び、電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。
【００４０】
６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、図１にＸ，Ｙ，Ｚで示した各軸方向の加速度を検出する３軸加速度センサー、及び、Ｘ，Ｙ，Ｚ各軸周りの角速度を検出する３軸ジャイロセンサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。
【００４１】
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）１１５は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信して、コントローラー１０の現在位置の座標を検出又は算出する位置検出器である。
【００４２】
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力してもよい。
【００４３】
通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備え、これらが統合されたデバイスや通信モジュール基板であってもよい。
【００４４】
通信部１１７の通信方式は、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）、ＤＥＣＴ（Ｄｉｇｉｔａｌ  Ｅｎｈａｎｃｅｄ  Ｃｏｒｄｌｅｓｓ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等が用いられる。
【００４５】
音声処理部１８０は、オーディオコネクター４６に接続され、音声信号の入出力及び音声信号のエンコード／デコードを行う。音声処理部１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。
【００４６】
外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。
【００４７】
コントローラー１０は、バイブレーター１７６を搭載する。バイブレーター１７６は、例えば，モーターと偏心した回転子を備え、メインプロセッサー１２５の制御に従って振動を発生する。
【００４８】
インターフェイス（Ｉ／Ｆ）１９７は、センサーハブ１９３及びＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）１９５を、画像表示部２０に接続する。センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９５は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９７を介した伝送を実行する。
【００４９】
接続ケーブル４０、及び、図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。
【００５０】
ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、使用者Ｕの左右の眼に入射する。
【００５１】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及び、ＬＥＤインジケーター６７を、コントローラー１０に接続する。
【００５２】
ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００５３】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。
【００５４】
照度センサー６５は、受光量（受光強度）に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯及び消灯する。
【００５５】
温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。
【００５６】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。
【００５７】
左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、コントローラー１０に接続する。
【００５８】
６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例である。具体的には、６軸センサー２３５は、図１のＸ，Ｙ，Ｚ軸方向の加速度を検出する３軸加速度センサー、及びＸ，Ｙ，Ｚ各軸まわりの加速度を検出する３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵであってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００５９】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００６０】
カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９は、コントローラー１０のセンサーハブ１９３に接続される。
【００６１】
センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。
【００６２】
コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。
【００６３】
ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。
【００６４】
図３は、ＨＭＤ１００のコントローラー１０の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図３に示す記憶部１４０は、不揮発性記憶部１２１（図２）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８及び不揮発性記憶部１２１により構成される。
【００６５】
記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及びこれらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３及びコンテンツデータ１４４を記憶する。
【００６６】
制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１００を制御する。
【００６７】
オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能は、基本制御部１５１、通信制御部１５２、撮像制御部１５３、音声解析部１５４、画像検出部１５５、動き検出部１５６、操作検出部１５７、表示制御部１５８、及び、アプリケーション実行部１５９を含む。
【００６８】
アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、音声通信、画像通信、経路ナビゲーション等の機能を実現するプログラムである。
【００６９】
設定データ１４３は、ＨＭＤ１００の動作に関する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ  Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。
【００７０】
また、設定データ１４３には、アプリケーションプログラム１４２を実行する場合に使用されるデータが含まれる。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部、或いはＨＭＤ１００のセンサー類等を示すデータを含む。
【００７１】
ＨＭＤ１００では、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応した設定データ１４３が生成又は記憶されると、アプリケーション実行部１５９がアプリケーションプログラム１４２を起動できる。
【００７２】
コンテンツデータ１４４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４４は、静止画像データ、映像（動画像）データ、音声データ等を含む。コンテンツデータ１４４は複数のコンテンツのデータを含んでもよい。
【００７３】
入力補助データ１４５は、ＨＭＤ１００を用いたデータ入力の操作を補助するためのデータである。
本実施形態のＨＭＤ１００は、使用者Ｕがデータを入力する操作を補助する機能を備える。具体的には、使用者Ｕの操作によって入力すべき正規データが予め定められている場合に、この正規データと類似する補助データを使用者Ｕに提供する。使用者Ｕは、ＨＭＤ１００が提供する補助データを編集する操作を行い、正規データに加工する。これにより、補助のない状態で正規データを入力する場合の操作よりも簡単な操作で、データを入力できる。
【００７４】
以下の説明では、入力すべき正規データ、及び、補助データを、文字列とする。例えば、使用者Ｕが、ＨＭＤ１００の機能によりウェブブラウザーを利用中に、ウェブページに配置された入力ボックスに文字列を入力する場合を想定する。
【００７５】
図４は、入力補助データ１４５の構成例を示す模式図である。
この例では、入力補助データ１４５は、データ入力の対象と、入力されるデータである入力文字列と、データ入力を補助する条件である入力条件とを対応づけて格納する。入力対象は、例えば、ＨＭＤ１００のウェブブラウザー機能により表示するウェブページのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）である。入力文字列は、ウェブページの入力領域に入力されるべき正規データである。本実施形態で、入力文字列は、ウェブページの認証に利用されるパスワードである。入力対象はＵＲＬである。
【００７６】
制御部１５０は、入力対象として設定されたＵＲＬのウェブページを表示した場合に、入力条件が成立すると、入力文字列を入力するための補助文字列を、候補として画像表示部２０により表示させる。補助文字列は、入力文字列と同じ属性と異なる属性とを有する、補助データである。ここで、属性とは、文字列を構成する文字の数、文字の種類、及び、文字を指す。文字の種類は、アルファベット、数字、記号、ひらがな、カタカナ、漢字等が挙げられ、他の言語で使用される文字種を含んでも良い。また、アルファベットの大文字と小文字とを異なる種類としても良い。制御部１５０は、補助文字列を、入力文字列に基づいて生成しても良いが、本実施形態では、入力補助データ１４５が、入力文字列に対応づけて補助文字列を含む。例えば、入力文字列「１２４ａｃ」に対応する補助文字列として「１２３ａｂ」が挙げられる。この補助文字列は入力文字列と文字数及び文字種が共通であり、一部の文字が』異なっている。また、図４の例では、入力文字列「６５４３２１」に対応する補助文字列として「６６３３３」が入力補助データ１４５に含まれる。この補助文字列は入力文字列と文字種が共通である。
【００７７】
補助文字列は、本来入力すべき入力文字列と共通する属性と異なる属性とを有する。言い換えれば、補助文字列は入力文字列と似ているが同一でない文字列である。使用者Ｕは、補助文字列を見ることで、正規の入力データである入力文字列を思い出し、正確に入力することができる。また、補助文字列を用いることで、入力文字列の秘匿性を維持できる。
【００７８】
入力条件は、ＨＭＤ１００が検出可能な使用者Ｕによる操作について設定された条件である。使用者Ｕの操作は、具体的には、マイク６３を利用した音声入力、６軸センサー２３５を利用した動きの入力、カメラ６１を利用した物体や画像コードの撮像などである。図４の例では、入力条件が、音声による「パスワード１番」との語の入力に設定されている。この場合、使用者Ｕが「パスワード１番」との音声を発すると、入力条件が成立したと判定されて、補助文字列が表示される。
【００７９】
図３に戻り、音声辞書データ１４６は、制御部１５０がマイク６３により集音された使用者Ｕの音声を解析するためのデータである。例えば、音声辞書データ１４６は、使用者Ｕの音声のデジタルデータを、日本語、英語またはその他の設定された言語のテキストに変換するための辞書データを含む。
【００８０】
画像検出用データ１４７は、制御部１５０がカメラ６１の撮像画像データを解析し、撮像画像データに含まれる特定の被写体の画像を検出するための参照用のデータである。特定の被写体とは、例えば、使用者Ｕの指、手、足、その他の身体、操作用の指示体など、ジェスチャー操作に使用される指示体であってもよい。
【００８１】
ＨＭＤ１００では、指示体をカメラ６１の撮像範囲で動かすジェスチャー操作により、入力を行うことができる。ジェスチャー操作で使用される指示体は予め指定されており、例えば、使用者Ｕの指、手、足、その他の身体、或いは、棒状やその他の形状の指示体である。画像検出用データ１４７は、ジェスチャー操作で使用される指示体を、撮像画像データから検出するためのデータを含む。この場合、画像検出用データ１４７は、指示体の画像を撮像画像データから検出するための画像特徴量や、パターンマッチングにより指示体の画像を検出するためのデータを含む。
【００８２】
また、ＨＭＤ１００では、カメラ６１により特定の被写体を撮像させること自体を入力操作とすることができる。具体的には、予め登録された被写体がカメラ６１により撮像された場合に、ＨＭＤ１００は、入力ありと判定する。この被写体を、入力用の被写体と呼ぶ。入力用の被写体は、ＱＲコード（登録商標）やバーコードなど、画像化されたコード、ＩＤカードや運転免許証などの証明書、その他の画像等が挙げられる。また、コードとしての意味を持たない文字、数字、幾何学的なパターン、画像、その他の図形を、入力用の被写体としても良い。画像検出用データ１４７は、入力用の被写体として予め登録された被写体の画像をカメラ６１の撮像画像データから検出するためのデータを含む。例えば、画像検出用データ１４７は、入力用の被写体を撮像画像データから検出するための画像特徴量や、パターンマッチングにより入力用の被写体を検出するためのデータを含む。
【００８３】
動き検出用データ１４８は、画像表示部２０の動きを入力として検出するためのデータを含む。例えば、動き検出用データ１４８は、６軸センサー１１１及び／または６軸センサー２３５の検出値の変化が、所定のパターンに該当するか否かを判定するためのデータを含む。動き検出用データ１４８に含まれる動きのパターンは複数であってもよい。
【００８４】
基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化し、アプリケーション実行部１５９がアプリケーションプログラム１４２を実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１５９を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。
【００８５】
基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１００の各部への電源供給を個別にオフに切り替える。
【００８６】
通信制御部１５２は、通信部１１７を制御して、他の装置との間でデータ通信を行う。
例えば、通信制御部１５２は、パーソナルコンピューター等の図示しない画像供給装置から供給されるコンテンツデータを通信部１１７により受信し、受信したコンテンツデータをコンテンツデータ１４４として記憶部１４０に記憶させる。
【００８７】
撮像制御部１５３は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５３は撮像画像データをカメラ６１から取得して、記憶部１４０に一時的に記憶する。
【００８８】
音声解析部１５４は、マイク６３によって集音された音声のデジタルデータを解析して、音声辞書データ１４６を参照してテキスト化する音声認識処理を実行する。音声解析部１５４は、音声認識処理により得られたテキストが、入力補助データ１４５に設定された入力条件に該当するか否かを判定する。
【００８９】
画像検出部１５５は、撮像制御部１５３の制御により撮像された撮像画像データを、画像検出用データ１４７を参照して解析することにより、撮像画像データから指示体または入力用の被写体の画像を検出する。
【００９０】
画像検出部１５５は、撮像画像データから指示体の画像を検出することにより、ジェスチャー操作を検出する処理を実行できる。この処理で、画像検出部１５５は、撮像画像データにおける指示体の画像の位置を特定する処理を、経時的に複数の撮像画像データに対して実行し、指示体の位置の軌跡を算出する。画像検出部１５５は、指示体の位置の軌跡が、予め設定された入力パターンに該当するか否かを判定する。画像検出部１５５は、指示体の位置の軌跡が予め設定された入力パターンに該当する場合、ジェスチャー操作を検出する。
【００９１】
また、画像検出部１５５は、撮像画像データから入力用の被写体を検出する処理を実行できる。この処理は、ジェスチャー操作の指示体を検出する処理と並行して実行してもよい。画像検出部１５５は、画像検出用データ１４７に基づき、撮像画像データのパターンマッチング等の処理を実行し、撮像画像データにおいて入力用の被写体の画像を検出した場合に、入力ありと判定する。このように、カメラ６１によって入力用の被写体を撮像させる入力を、撮像入力と呼ぶ。撮像入力で使用される被写体は、ＩＤカード等のカードであってもよいし、立体であってもよいし、立体の表面に付された画像等であってもよい。
【００９２】
動き検出部１５６は、６軸センサー２３５及び／または６軸センサー１１１の検出値に基づいて操作を検出する。具体的には、動き検出部１５６は、画像表示部２０の動きを操作として検出する。動き検出部１５６は、６軸センサー２３５及び／または６軸センサー１１１の検出値の変化が、動き検出用データ１４８が定めるパターンに該当するか否かを判定する。動き検出部１５６は、検出値の変化が動き検出用データ１４８のパターンに該当する場合に、画像表示部２０の動きによる入力を検出する。このように、画像表示部２０を、予め設定されたパターンに適合するように動かす入力を、動き入力と呼ぶ。
【００９３】
操作検出部１５７は、操作部１７０に対する操作を検出する。
表示制御部１５８は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５８は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。表示制御部１５８は、画像表示部２０を制御して画像を表示させる。
【００９４】
また、表示制御部１５８は、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する画像処理を実行する。表示制御部１５８は、画像表示部２０により表示する画像又は映像の画像データに基づいて、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等を生成する。
【００９５】
また、表示制御部１５８は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、表示制御部１５８は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。表示制御部１５８は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。
【００９６】
表示制御部１５８は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）が挙げられる。
【００９７】
アプリケーション実行部１５９は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１５９は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。例えば、記憶部１４０に記憶されたコンテンツデータ１４４のいずれかが操作部１７０の操作により選択されると、コンテンツデータ１４４を再生するアプリケーションプログラム１４２が実行される。これにより制御部１５０は、コンテンツデータ１４４を再生するアプリケーション実行部１５９として動作する。
【００９８】
制御部１５０は、音声解析部１５４により、音声による入力を検出できる。また、画像検出部１５５により、指示体をカメラ６１の撮像範囲内で動かすジェスチャー入力、及び、特定の被写体をカメラ６１に撮像させる撮像入力を検出できる。また、動き検出部１５６により、画像表示部２０を特定のパターンで動かす動き入力を検出できる。
換言すれば、使用者Ｕは、ＨＭＤ１００に対する入力方法として、音声入力、ジェスチャー入力、撮像入力、及び、動き入力を利用できる。
【００９９】
図５は、ＨＭＤ１００の動作を示すフローチャートである。図５の動作は、ＨＭＤ１００が文字列を入力するためのユーザーインターフェイスを表示している状態で、使用者Ｕが文字列を入力する操作を補助する動作である。図６、図７、図８の各図は、ＨＭＤ１００により表示される画面の構成例を示す図であり、図５の動作で表示されるユーザーインターフェイスの一例に相当する。
以下、これらの図に基づきＨＭＤ１００の動作を説明する。以下に説明する動作において、制御部１５０は、入力制御部として機能する。
【０１００】
図６、図７、図８の各図において、画像表示部２０を装着した使用者Ｕの視野を符号Ｖで示し、視野Ｖにおいて、画像表示部２０が表示する画像が視認される範囲を符号ＶＲで示す。符号ＶＲは、画像表示部２０が画像を表示する領域を示しているため、表示領域ＶＲとする。また、視野Ｖでは、画像表示部２０を透過する外光により、外の景色が透過して視認できる。視野Ｖにおいて視認される外景を符号ＶＯで示す。
【０１０１】
制御部１５０は、操作検出部１５７の機能により検出した操作に従って、入力モードを開始し（ステップＳ１１）、表示制御部１５８の機能により、入力用のユーザーインターフェイスである入力画面を、画像表示部２０に表示させる（ステップＳ１２）。
図６の入力画面３１０は入力用のユーザーインターフェイスの一例である。入力画面３１０は、例えば、ウェブサイトのログイン用のウェブページであり、文字列を入力するための入力領域３１１、３１２が配置されている。また、入力画面３１０には、音声入力が可能であることを示す音声アイコン３１５が配置されている。
【０１０２】
図５に戻り、制御部１５０は、使用者Ｕによる第１入力を検出する（ステップＳ１３）。制御部１５０は、入力補助データ１４５を参照し（ステップＳ１４）、ステップＳ１３で検出した第１入力が入力条件に該当するか否かを判定する（ステップＳ１５）。
第１入力は、音声入力、ジェスチャー入力、撮像入力、及び、動き入力のいずれを採用してもよい。図４に例示した入力補助データ１４５は、第１入力が音声入力である場合の入力条件を含むが、ジェスチャー入力、撮像入力、または動き入力に対応する入力条件を含んでも良い。第１入力が音声入力である場合、音声解析部１５４がステップＳ１３〜Ｓ１５を実行する。第１入力がジェスチャー入力または撮像入力である場合、画像検出部１５５がステップＳ１３〜Ｓ１５を実行する。第１入力が動き入力である場合、動き検出部１５６がステップＳ１３〜Ｓ１５を実行する。
【０１０３】
ステップＳ１３で検出した第１入力が入力条件に該当しない場合（ステップＳ１５；ＮＯ）、制御部１５０はステップＳ１３に戻る。
ステップＳ１３で検出した第１入力が入力条件に該当する場合（ステップＳ１５；ＹＥＳ）、制御部１５０は、入力条件に対応付けて入力補助データ１４５に設定された入力文字列を取得する（ステップＳ１６）。
【０１０４】
制御部１５０は、ステップＳ１６で取得した入力文字列に対応する補助文字列を、表示制御部１５８の機能により画像表示部２０に表示させる（ステップＳ１７）。
ステップＳ１７で、制御部１５０は、ステップＳ１６で取得した入力文字列に対応づけて入力補助データ１４５に設定された補助文字列を、表示させてもよい。また、制御部１５０は、ステップＳ１６で取得した入力文字列に対応する補助文字列を、予め設定されたアルゴリズムに従って生成して、画像表示部２０に表示させてもよい。
【０１０５】
ここで、制御部１５０は、使用者Ｕによる第２入力を検出する（ステップＳ１８）。制御部１５０は、第２入力に従って、ステップＳ１７で表示させた補助文字列を編集する（ステップＳ１９）。第２入力は、音声入力、ジェスチャー入力、撮像入力、及び、動き入力のいずれを採用してもよい。
【０１０６】
図７は、ＨＭＤ１００により表示される画面の一例として入力画面３２０を示し、符号Ａは補助文字列が表示された例を示し、符号Ｂは補助文字列が編集された例を示す。
入力画面３２０は、入力領域３１２（図６）に入力される文字列の編集を指示する案内メッセージ３２１と、文字列を編集する編集領域３２３とを含む。入力画面３２０は、音声解析部１５４が検出した音声入力が入力条件に該当した場合に、ステップＳ１７で表示される。
【０１０７】
編集領域３２３には、補助文字列である「１２３ａｂ」が表示される。補助文字列の各桁は文字選択が可能なドラムロール式の入力部となっており、図７の入力画面３２０は５文字の「１２３ａｂ」に対応するドラム入力部３２５ａ、３２５ｂ、３２５ｃ、３２５ｄ、３２５ｅを有する。ドラム入力部３２５ａ、３２５ｂ、３２５ｃ、３２５ｄ、３２５ｅの中央に位置する文字で構成される配列３２５は、図７の符号Ａに示す状態では、補助文字列となっている。使用者Ｕによる第２入力に応じて、制御部１５０は、ドラム入力部３２５ａ、３２５ｂ、３２５ｃ、３２５ｄ、３２５ｅの文字を変更し、配列３２５の文字列を編集する。
【０１０８】
補助文字列の文字数は、入力領域３１２に本来入力すべき入力文字列と共通であるため、使用者Ｕは、ドラム入力部３２５ａ、３２５ｂ、３２５ｃ、３２５ｄ、３２５ｅの各々で適切な文字を選択すればよい。つまり、入力画面３２０は、入力すべき文字列の文字数をついて使用者Ｕが思い出す必要がない点で、使用者Ｕを補助している。
【０１０９】
ドラム入力部３２５ａ、３２５ｂ、３２５ｃ、３２５ｄ、３２５ｅの文字を移動させる操作は、第２入力に対応して実行される。この操作は、例えば、ドラム入力部３２５ａから順に、選択する文字を発話する音声入力である。また、特定の文字を示すジェスチャー入力、特定の文字が描かれた入力用の被写体を撮像させる撮像入力、矢印３２７の移動方向と移動量を指定する動き入力等であってもよい。
【０１１０】
図７の符号Ｂには、編集後の入力画面３２０を示す。第２入力に応じてドラム入力部３２５ａ、３２５ｂ、３２５ｃ、３２５ｄ、３２５ｅの文字を変更した結果、配列３２５の文字列は「１２４ａｂ」に変更されている。
【０１１１】
また、入力画面３２０には、確定指示ボタン３２９が配置されている。確定指示ボタン３２９は、配列３２５が使用者Ｕの所望する文字列となった場合に、使用者Ｕが操作する操作部である。確定指示ボタン３２９が操作されると、制御部１５０は、配列３２５の文字列を、入力領域３１２（図２）に入力する文字列として確定する。
【０１１２】
図５のステップＳ１９で、制御部１５０は、第２入力に応じて補助文字列を編集し、確定指示入力が行われたか否かを判定する（ステップＳ２０）。確定指示入力は、例えば、確定指示ボタン３２９を選択する操作である。確定指示ボタン３２９を選択する操作は、音声により確定指示ボタン３２９の選択を指示する音声入力であってもよい。また、確定指示ボタン３２９を指定するジェスチャー入力、確定指示ボタン３２９に対応する入力用の被写体を撮像させる撮像入力、確定指示ボタン３２９を指定する動き入力等であってもよい。
【０１１３】
確定指示入力が行われていない場合（ステップＳ２０；ＮＯ）、制御部１５０はステップＳ１８に戻り、さらなる第２入力を検出できる。また、確定指示入力が行われた場合（ステップＳ２０；ＹＥＳ）、制御部１５０は、配列３２５の文字列を入力領域３１２に入力する（ステップＳ２１）。これにより、入力画面３１０に対する入力文字列が確定される（ステップＳ２２）。
【０１１４】
図８は、入力画面３１０において、入力領域３１２に文字列が入力された状態を示す。入力画面３２０（図７）において確定指示ボタン３２９が選択されると、図８に示すように、入力画面３２０で編集された文字列が入力領域３１２に入力される。このように、入力画面３２０で補助文字列を編集する操作を行うことで、入力領域３１２への文字列の入力を行うことができる。
【０１１５】
上記の例では、補助文字列を構成する各文字を１つずつドラム入力部３２５ａ、３２５ｂ、３２５ｃ、３２５ｄ、３２５ｅで編集する例を示したが、他の操作により補助文字列を編集する構成とすることも可能である。
例えば、補助文字列を編集するユーザーインターフェイスとして、文字の配置順序を入れ替える入れ替えボックスを表示してもよい。この場合、補助文字列は、正規データである入力文字列を構成する文字を、正規データとは異なる順序で配置した文字列であり、補助文字列の文字の順序を入れ替えることで正規データを作成できる。入れ替えボックスは、音声入力やジェスチャー入力により、文字の配置順序を入れ替えることが可能なインターフェイスである。この場合、文字の入れ替えにより入力文字列を入力でき、入力文字列の秘匿性を維持し、入力を容易にすることができる。
また、例えば、補助文字列とともにソフトウェアキーボードを画像表示部２０により表示し、ソフトウェアキーボードに対するジェスチャー入力に基づき、補助文字列の文字を入れ替えることで、補助文字列を編集する構成であってもよい。また、音声入力に従って補助文字列を編集してもよい。
また、上記の例では、確定指示ボタン３２９により確定指示操作が行われるものとしたが、他の種類の操作で確定指示操作が行われてもよい。これらの例を図９、図１０、図１１に示す。
【０１１６】
図９、図１０、図１１における視野Ｖ、表示領域ＶＲ、外景ＶＯは図６と同様である。
図９に示すジェスチャー入力画面３３０には、案内メッセージ３３１が表示される。案内メッセージ３３１は、確定指示操作としてジェスチャー入力を行うことを案内する。
【０１１７】
図９の例では、案内メッセージ３３１に従って、使用者Ｕが、手Ｈをカメラ６１の撮像範囲で動かすジェスチャー入力を行い、このジェスチャー入力が予め設定された条件に該当する場合に、確定指示入力が検出される。
【０１１８】
図１０に示す動き入力画面３４０には、案内メッセージ３４１が表示される。案内メッセージ３４１は、確定指示操作として画像表示部２０の動きによる動き入力を行うことを案内する。
【０１１９】
図１０の例では、案内メッセージ３４１に従って、使用者Ｕが、画像表示部２０を装着した頭部を動かし、この動き入力が予め設定された条件に該当する場合に、確定指示入力が検出される。
【０１２０】
図１１に示す撮像入力画面３５０には、案内メッセージ３５１が表示される。案内メッセージ３５１は、確定指示入力として、ＩＤカードをカメラ６１による撮像させることを案内する。
撮像入力画面３５０には、使用者Ｕが被写体を撮像させる目安として、撮像枠３５３が表示される。撮像枠３５３は、カメラ６１の撮像範囲の中央に重なるように、画像表示部２０の表示領域ＶＲに表示される。
使用者Ｕは、特定の被写体として予め設定されたＩＤカード等を撮像枠３５３に重ねる操作を行い、この状態でカメラ６１により撮像された撮像画像データから、画像検出部１５５が被写体を検出する。図１１の例では、使用者Ｕが手ＨによりＩＤカードを撮像枠３５３に重ねる操作を行っている。画像検出部１５５が、撮像画像データからＩＤカードの画像Ｐを検出すると、確定指示入力が検出される。
【０１２１】
以上説明したように、ＨＭＤ１００は、使用者Ｕの頭部に装着される画像表示部２０を備える。ＨＭＤ１００は、使用者Ｕによる入力を受け付ける第１入力部と、第１入力部とは異なる方法による使用者Ｕの入力を受け付ける第２入力部と、を備える。ＨＭＤ１００は、画像表示部２０により文字入力用のユーザーインターフェイスを表示して、文字または文字列を入力する入力モードを実行する制御部１５０を備える。制御部１５０は、第１入力部で受け付けた入力に対応して、補助データをユーザーインターフェイスに配置して表示させ、第２入力部で受け付けた入力に対応して補助データを編集し、編集後のデータをユーザーインターフェイスに入力する。補助データは第１属性および第２属性を有し、第１属性はユーザーインターフェイスに入力すべき正規データと共通であり、第２属性は正規データと異なるデータである。
【０１２２】
ＨＭＤ１００は、音声解析部１５４、画像検出部１５５、及び、動き検出部１５６を備え、これらから選択される１つが第１入力部として機能し、他のうちいずれか１つが第２入力部として機能する。第１入力部と第２入力部の組合せに制限はない。また、画像検出部１５５は、ジェスチャー入力を検出する場合と、撮像入力を検出する場合とで、異なる入力部として機能するので、画像検出部１５５が第１入力部及び第２入力部として機能してもよい。
【０１２３】
本発明の頭部装着型表示装置、及び、頭部装着型表示装置の制御方法を適用したＨＭＤ１００によれば、ユーザーインターフェイスに文字列を入力する場合に、入力すべき文字列と共通する属性および異なる属性を有する補助データが表示される。使用者Ｕが、補助データを編集することで、正規の文字または文字列を入力できる。このため、正規の文字または文字列の秘匿性を維持し、入力操作の負担を軽減できる。さらに、使用者Ｕの頭部に装着される画像表示部２０に、正規の文字または文字列とは異なる補助データを表示するので、入力されるデータの秘匿性をより確実に保持できる。
【０１２４】
また、補助データ及び正規データは文字列で構成され、補助データは補助文字列、正規データは入力文字列である。また、第１属性は文字数であり、第２属性はいずれか１以上の文字である。このため、入力すべき正規の文字列と文字数が共通であり、いずれか１以上の文字が異なる補助文字列が表示されるので、ユーザーインターフェイスに文字または文字列を入力する操作の負担を軽減できる。
【０１２５】
ＨＭＤ１００は、記憶部１４０に、正規データを、第１入力部で受け付ける入力に対応づけて記憶する。制御部１５０は、第１入力部で受け付けた入力に対応して記憶部１４０に記憶された正規データをもとに補助データを生成し、ユーザーインターフェイスに配置して表示させてもよい。この場合、正規の文字または文字列に対応してユーザーインターフェイスに表示される補助データを生成するので、補助データを予め記憶させておく必要がなく、効率よく処理を行える。
【０１２６】
ＨＭＤ１００は、正規データと、補助データと、第１入力部で受け付ける入力とを入力補助データ１４５として対応づけて記憶部１４０に記憶してもよい。制御部１５０は、第１入力部で受け付けた入力に対応して記憶部１４０に記憶された補助データをユーザーインターフェイスに配置して表示させる。このため、ユーザーインターフェイスに表示される補助データを、使用者Ｕの操作に対応付けて記憶するので、使用者Ｕの操作に対応する適切な補助データを表示させることができる。また、操作に対応して表示される補助データを使用者Ｕが容易に認識できるので、補助データを編集する操作の負担を効果的に軽減できる。
【０１２７】
また、ユーザーインターフェイスはデータの入力を要する複数の入力領域を有し、制御部１５０は、いずれかの入力領域に補助データを配置して表示させる。例えば、ユーザーインターフェイスとしての入力画面３１０は、入力領域３１１、及び入力領域３１２を有し、制御部１５０は入力領域３１２に入力する補助データを、入力画面３２０に表示させる。これにより、ユーザーインターフェイスに配置される入力領域の一部に対し、補助データを編集する方法により文字または文字列を容易に入力できる。例えば、補助データを利用する入力領域を、秘匿性の高い情報が入力される一部の入力領域に制限することで、効率よく、使用者Ｕの操作を補助できる。
【０１２８】
また、制御部１５０は、第２入力部で受け付けた入力に対応して補助データを編集した後、第１入力部または第２入力部による確定指示入力を受け付けた場合に、編集後のデータを入力する。これにより、補助データを編集したデータを確定させるか否かを操作者が指示できるので、誤入力を防止できる。
【０１２９】
ＨＭＤ１００は、第３入力部を備える。第３入力部は、第１入力部、第２入力部と同様に、音声解析部１５４、画像検出部１５５、及び、動き検出部１５６から選択される１つである。また、画像検出部１５５は、ジェスチャー入力を検出する場合と、撮像入力を検出する場合とで、異なる入力部として機能する。第３入力部は、第１入力部または第２入力部と共通であってもよい。
【０１３０】
制御部１５０は、第２入力部で受け付けた入力に対応して補助データを編集した後、第３入力部による確定指示入力を受け付けた場合に、編集後のデータを入力する。このため、補助データを編集したデータを確定させるか否かを、第１入力部および第２入力部で検出される操作とは異なる操作によって操作者が指示できるので、誤入力を防止できる。
【０１３１】
第１入力部または第２入力部として音声解析部１５４を用いる場合、補助データの表示または補助データの編集に関する操作を音声により行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【０１３２】
ＨＭＤ１００は、カメラ６１を備え、カメラ６１で撮像された撮像画像から指示体の位置及び動きの少なくともいずれかによる入力を検出する画像検出部１５５を、第１入力部または第２入力部として機能させてもよい。この場合、指示体の位置及び／または動きによって、補助データの表示または補助データの編集に関する操作を行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【０１３３】
ＨＭＤ１００は、カメラ６１で撮像された撮像画像から画像化されたコードを検出する画像検出部１５５を、第１入力部または第２入力部として機能させてもよい。この場合、画像化されたコードを撮像させることによって、補助データの表示または補助データの編集に関する操作を行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【０１３４】
ＨＭＤ１００は、カメラ６１で撮像された撮像画像に含まれる被写体の画像を入力として検出する画像検出部１５５を、第１入力部または第２入力部として機能させてもよい。この場合、被写体を撮像させることによって、補助データの表示または補助データの編集に関する操作を行うことができ、文字又は文字列の入力に関する操作の負担を、より効果的に軽減できる。
【０１３５】
この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０１３６】
さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【０１３７】
また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。
【０１３８】
また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。
【０１３９】
また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１９１などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
【０１４０】
また、本発明の頭部装着型表示装置の制御方法を、コンピューターを用いて実現する場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成できる。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ等の不揮発性記憶装置であってもよい。
【符号の説明】
【０１４１】
１０…コントローラー、２０…画像表示部（表示部）、２６…右導光板、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、６１…カメラ（撮像部）、６３…マイク、１００…ＨＭＤ（頭部装着型表示装置）、１１１…６軸センサー、１２０…コントローラー基板、１２５…メインプロセッサー、１４０…記憶部、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…コンテンツデータ、１４５…入力補助データ、１４６…音声辞書データ、１４７…画像検出用データ、１４８…動き検出用データ、１５０…制御部（入力制御部）、１５１…基本制御部、１５２…通信制御部、１５３…撮像制御部、１５４…音声解析部（第１入力部、第２入力部、第３入力部）、１５５…画像検出部（第１入力部、第２入力部、第３入力部）、１５６…動き検出部（第１入力部、第２入力部、第３入力部）、１５７…操作検出部、１５９…アプリケーション実行部、１７０…操作部、１８０…音声処理部、２２１…ＯＬＥＤユニット、２４１…ＯＬＥＤユニット、３１０…入力画面（ユーザーインターフェイス）、３１１、３１２…入力領域、３２０…入力画面、３２５ａ〜３２５ｅ…ドラム入力部、３２９…確定指示ボタン、Ｕ…使用者、Ｖ…視野、ＶＯ…外景、ＶＲ…表示領域。
【図１】
2019145008.tif 000003
【図２】
2019145008.tif 000004
【図３】
2019145008.tif 000005
【図４】
2019145008.tif 000006
【図５】
2019145008.tif 000007
【図６】
2019145008.tif 000008
【図７】
2019145008.tif 000009
【図８】
2019145008.tif 000010
【図９】
2019145008.tif 000011
【図１０】
2019145008.tif 000012
【図１１】
2019145008.tif 000013