(57)【要約】【課題】秘匿性を有する文字列の入力に関する操作の負担を軽減する。【解決手段】画像表示部２０と、カメラ６１と、対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部と、カメラ６１の撮像画像から対象物の画像を検出する画像検出部と、画像検出部が検出した対象物の画像に対応付けられた文字情報を記憶部から取得し、取得した文字情報が示す文字又は文字列を対象物の検出順に並べて文字列を生成する文字列生成部と、ユーザーインターフェイスに配置された入力領域に、文字列生成部により生成された文字列を入力する入力制御部と、を備えるＨＭＤ１００。【選択図】図１
2019145009.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着され、外景を透過して視認可能に構成される表示部と、
前記表示部を透過して視認される前記外景を含む範囲を撮像する撮像部と、
対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部と、
前記撮像部の撮像画像から前記対象物の画像を検出する画像検出部と、
前記画像検出部が検出した前記対象物の画像に対応付けられた文字情報を前記記憶部から取得し、取得した前記文字情報が示す文字又は文字列を、前記対象物の検出順に並べて文字列を生成する文字列生成部と、
前記表示部に文字入力用のユーザーインターフェイスを表示させ、前記ユーザーインターフェイスに配置された入力領域に、前記文字列生成部により生成された文字列を入力する入力制御部と、
を備える、頭部装着型表示装置。
【請求項２】
前記入力制御部により入力された文字列を対象として認証を行う認証部を備え、
前記記憶部は、予め設定された認証用文字列を記憶し、
前記認証部は、前記入力制御部により入力された文字列と前記記憶部に記憶された前記認証用文字列とを対照することにより認証を行う、請求項１記載の頭部装着型表示装置。
【請求項３】
通信を行う通信部と、
前記入力制御部により入力された文字列を認証要求とともに前記通信部により送信し、前記通信部によって認証結果を受信する通信制御部と、を備える、請求項１記載の頭部装着型表示装置。
【請求項４】
前記対象物の画像は前記使用者の手の画像であって、形状の異なる複数の手の画像の組合せで構成され、
前記文字列生成部は、前記画像検出部によって形状の異なる複数の手の画像が検出された場合に、検出された手の画像の組合せに対応する前記文字情報が示す文字又は文字列を生成する、請求項１から３のいずれか１項に記載の頭部装着型表示装置。
【請求項５】
前記対象物の画像は前記使用者の手を所定の形状とした画像であり、
前記文字列生成部は、前記画像検出部によって所定の形状の手の画像が検出された場合に、検出された手の画像に対応する文字列を生成する、請求項１から３のいずれか１項に記載の頭部装着型表示装置。
【請求項６】
通信を行う第１通信部と、
使用者の頭部に装着され、外景を透過して視認可能に構成される表示部と、
前記表示部を透過して視認される前記外景を含む範囲を撮像する撮像部と、
対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部と、
前記撮像部の撮像画像から前記対象物の画像を検出する画像検出部と、
前記画像検出部が検出した前記対象物の画像に対応付けられた文字情報を前記記憶部から取得し、取得した前記文字情報が示す文字又は文字列を、前記対象物の検出順に並べて文字列を生成する文字列生成部と、
前記表示部に文字入力用のユーザーインターフェイスを表示させ、前記ユーザーインターフェイスに配置された入力領域に、前記文字列生成部により生成された文字列を入力する入力制御部と、
前記入力制御部により入力された文字列を認証要求とともに前記第１通信部により送信し、前記第１通信部によって認証結果を受信する通信制御部と、を備える頭部装着型表示装置と、
第２通信部と、
予め設定された認証用文字列を記憶する第２記憶部と、
前記第２通信部が受信した文字列と前記第２記憶部に記憶された前記認証用文字列とを対照することにより認証を行う認証部と、を備え、
認証結果を前記第２通信部により前記文字列の送信元に送信する認証装置と、
を有する認証システム。
【請求項７】
使用者の頭部に装着される表示部を備える頭部装着型表示装置の制御方法であって、
前記表示部を透過して視認される外景を含む範囲を撮像し、
撮像画像から対象物の画像を検出し、
検出した前記対象物の画像に対応付けられた文字情報を、前記対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部から取得し、取得した前記文字情報が示す文字又は文字列を、前記対象物の検出順に並べて文字列を生成し、
前記表示部に文字入力用のユーザーインターフェイスを表示させ、前記ユーザーインターフェイスに配置された入力領域に、生成した文字列を入力する、頭部装着型表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、認証システム、及び頭部装着型表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、パスワード等の認証用の情報の入力を容易にする手段が提案されている（例えば、特許文献１参照）。特許文献１は、複数のオブジェクトが配置された認証用画像を表示し、オブジェクトに対するタッチ順序の情報からなる認証鍵を生成する手法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１７７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の構成では、オブジェクトのタッチ順序が認証鍵となるため、文字列で構成される情報の入力に適用することが困難であった。
本発明は、秘匿性を有する文字列の入力に関する操作の負担を軽減することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の頭部装着型表示装置は、使用者の頭部に装着され、外景を透過して視認可能に構成される表示部と、前記表示部を透過して視認される前記外景を含む範囲を撮像する撮像部と、対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部と、前記撮像部の撮像画像から前記対象物の画像を検出する画像検出部と、前記画像検出部が検出した前記対象物の画像に対応付けられた文字情報を前記記憶部から取得し、取得した前記文字情報が示す文字又は文字列を、前記対象物の検出順に並べて文字列を生成する文字列生成部と、前記表示部に文字入力用のユーザーインターフェイスを表示させ、前記ユーザーインターフェイスに配置された入力領域に、前記文字列生成部により生成された文字列を入力する入力制御部と、を備える。
本発明によれば、文字列の秘匿性を損なうことなく、簡易な操作により文字列の入力を可能とし、文字列を入力する操作の負担を軽減できる。
【０００６】
また、本発明は、前記入力制御部により入力された文字列を対象として認証を行う認証部を備え、前記記憶部は、予め設定された認証用文字列を記憶し、前記認証部は、前記入力制御部により入力された文字列と前記記憶部に記憶された前記認証用文字列とを対照することにより認証を行う構成であってもよい。
この構成によれば、認証用文字列を入力する操作の負担を軽減できる。
【０００７】
また、本発明は、通信を行う通信部と、前記入力制御部により入力された文字列を認証要求とともに前記通信部により送信し、前記通信部によって認証結果を受信する通信制御部と、を備える構成であってもよい。
この構成によれば、外部の装置による認証を利用する場合に、認証用の文字列を入力する操作の負担を軽減できる。
【０００８】
また、本発明は、前記対象物の画像は前記使用者の手の画像であって、形状の異なる複数の手の画像の組合せで構成され、前記文字列生成部は、前記画像検出部によって形状の異なる複数の手の画像が検出された場合に、検出された手の画像の組合せに対応する前記文字情報が示す文字列を生成する構成であってもよい。
この構成によれば、使用者の手によるジェスチャーを利用して文字列を容易に入力できる。
【０００９】
また、本発明は、前記対象物の画像は前記使用者の手を所定の形状とした画像であり、前記文字列生成部は、前記画像検出部によって所定の形状の手の画像が検出された場合に、検出された手の画像に対応する文字列を生成する構成であってもよい。
この構成によれば、手の形状による入力を利用して、文字列を容易に入力できる。
【００１０】
また、本発明の認証システムは、通信を行う第１通信部と、使用者の頭部に装着され、外景を透過して視認可能に構成される表示部と、前記表示部を透過して視認される前記外景を含む範囲を撮像する撮像部と、対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部と、前記撮像部の撮像画像から前記対象物の画像を検出する画像検出部と、前記画像検出部が検出した前記対象物の画像に対応付けられた文字情報を前記記憶部から取得し、取得した前記文字情報が示す文字又は文字列を、前記対象物の検出順に並べて文字列を生成する文字列生成部と、前記表示部に文字入力用のユーザーインターフェイスを表示させ、前記ユーザーインターフェイスに配置された入力領域に、前記文字列生成部により生成された文字列を入力する入力制御部と、前記入力制御部により入力された文字列を認証要求とともに前記第１通信部により送信し、前記第１通信部によって認証結果を受信する通信制御部と、を備える頭部装着型表示装置と、第２通信部と、予め設定された認証用文字列を記憶する第２記憶部と、前記第２通信部が受信した文字列と前記第２記憶部に記憶された前記認証用文字列とを対照することにより認証を行う認証部と、を備え、認証結果を前記第２通信部により前記文字列の送信元に送信する認証装置と、を有する。
本発明によれば、頭部装着型表示装置において入力した認証用の文字列を、認証装置により認証する構成において、文字列の秘匿性を損なうことなく、簡易な操作により頭部装着型表示装置における文字列の入力を可能とする。これにより、文字列を入力する操作の負担を軽減できる。
【００１１】
また、本発明は、使用者の頭部に装着される表示部を備える頭部装着型表示装置の制御方法であって、前記表示部を透過して視認される外景を含む範囲を撮像し、撮像画像から対象物の画像を検出し、検出した前記対象物の画像に対応付けられた文字情報を、前記対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部から取得し、取得した前記文字情報が示す文字又は文字列を、前記対象物の検出順に並べて文字列を生成し、前記表示部に文字入力用のユーザーインターフェイスを表示させ、前記ユーザーインターフェイスに配置された入力領域に、生成した文字列を入力する。
本発明によれば、文字列の秘匿性を損なうことなく、簡易な操作により文字列の入力を可能とし、文字列を入力する操作の負担を軽減できる。
【図面の簡単な説明】
【００１２】
【図１】ＨＭＤの外観構成を示す説明図。
【図２】認証システムの構成を示す図。
【図３】ＨＭＤの構成を示すブロック図。
【図４】ＨＭＤの制御系の機能ブロック図。
【図５】入力補助データの構成例を示す模式図。
【図６】ＨＭＤの動作を示すフローチャート。
【図７】ＨＭＤにより表示される画面の構成例を示す図。
【図８】ＨＭＤにより表示される画面の構成例を示す図。
【図９】ＨＭＤの動作を示すフローチャート。
【図１０】サーバーの動作を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照しながら本発明の実施形態について説明する。図１は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００の外観構成を示す図である。
【００１４】
ＨＭＤ１００は、画像表示部２０と、画像表示部２０を制御する制御装置としてのコントローラー１０とを備える。
画像表示部２０は、本実施形態では眼鏡形状を有し、使用者Ｕの頭部に装着される。画像表示部２０は、装着状態で使用者Ｕ（操作者）に虚像を視認させる。画像表示部２０が虚像を視認させる機能は「表示」であるということができ、画像表示部２０は、本発明の「表示部」に相当する。
【００１５】
コントローラー１０は、箱形の本体１１に、後述するように使用者Ｕの操作を受け付ける被操作部を備え、使用者ＵがＨＭＤ１００を操作するデバイスとしても機能する。
【００１６】
画像表示部２０は、右保持部２１、左保持部２３、前部フレーム２７、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び、左導光板２８を備える。右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。
【００１７】
右導光板２６及び左導光板２８は、前部フレーム２７に固定される。画像表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の眼前に位置し、左導光板２８は使用者Ｕの左眼の眼前に位置する。
【００１８】
右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
【００１９】
右導光板２６及び左導光板２８は、光を透過する樹脂等によって形成される光学部品であり、例えばプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者Ｕの左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認する。
【００２０】
ＨＭＤ１００はシースルー型の表示装置であり、使用者Ｕの右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、使用者Ｕの左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させる。使用者Ｕには、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて画像光による画像が視認される。
【００２１】
画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光する。
カメラ６１（撮像部）は、右導光板２６及び左導光板２８を透過する外光を遮らない位置で、前部フレーム２７に配設される。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
【００２２】
カメラ６１は、撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。カメラ６１の撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）イメージセンサー等を採用できる。カメラ６１は、制御部１５０（図４）の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。
【００２３】
使用者Ｕが画像表示部２０を装着した状態で、カメラ６１は使用者Ｕの正面方向を向く。このため、画像表示部２０の装着状態で、カメラ６１の撮像範囲（或いは、画角）は、使用者Ｕの視界の少なくとも一部を含み、詳細には、使用者Ｕが画像表示部２０を透過して視認する外景の少なくとも一部を含む。さらに、使用者Ｕが画像表示部２０を透過して視認する視界の全体が、カメラ６１の画角に含まれることが好ましい。
前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、カメラ６１の動作中に点灯して、撮像中であることを報知する。
【００２４】
前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよい。この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。
【００２５】
コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。本体１１は、接続ケーブル４０が着脱可能に接続されるコネクター４２を備える。
接続ケーブル４０はオーディオコネクター４６を有し、オーディオコネクター４６にヘッドセット３０が接続される。ヘッドセット３０は、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有する。
【００２６】
右イヤホン３２は、使用者Ｕの右耳に装着され、左イヤホン３４は、使用者Ｕの左耳に装着される。マイク６３は、音声を集音して、音声信号を音声処理部１８０（図３）に出力する。
【００２７】
コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。
【００２８】
操作パッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は、静電式、圧力検出式、光学式等を利用でき、特定の方式に限定されない。操作パッド１４は、接触が検出された操作面の位置を示す信号を制御部１５０に出力する。
【００２９】
ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）表示部１７は、光を透過可能な透過部に埋設されたＬＥＤを点灯させることで、透過部に形成された文字、記号、模様等を表示する。この表示の表面はタッチセンサー１７２（図３）によってタッチ操作を検出可能な領域である。従って、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。本体１１は、コントローラー１０を外部の装置に接続するインターフェイスとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクター１９を備える。
【００３０】
図２は、認証システム１の構成を示す図である。
認証システム１は、ＨＭＤ１００と、サーバー４００とを備えて構成される。ＨＭＤ１００は、通信ネットワーク２を介して、サーバー４００と相互にデータ通信可能に接続される。
【００３１】
認証システム１は、ＨＭＤ１００に入力される情報に基づく認証を行うシステムである。認証システム１は、ＨＭＤ１００が認証を行う第１の認証処理と、サーバー４００が認証を行う第２の認証処理とを実行する。第１の認証処理で、ＨＭＤ１００は、使用者Ｕの操作に従って文字列をユーザーインターフェイスに入力し、入力された文字列に対しＨＭＤ１００が認証する。第２の認証処理では、ＨＭＤ１００が使用者Ｕの操作に従ってユーザーインターフェイスに文字列を入力し、入力した文字列をサーバー４００に送信し、この文字列に対しサーバー４００が認証を行う。
【００３２】
以下では、認証システム１は、第１の認証処理、及び、第２の認証処理を実行可能なものとして説明するが、いずれか一方のみを実行可能な構成であってもよい。また、第１の認証処理と第２の認証処理との切替方法は任意である。例えば、ＨＭＤ１００は、予め設定された側の処理を実行する構成であってもよい。また、ＨＭＤ１００は、サーバー４００との通信が可能な場合に第２の処理を実行し、サーバー４００との通信ができない場合に第１の処理を実行してもよい。また、ＨＭＤ１００は、サーバー４００から第２の認証処理を指示するコマンドを受信した場合に第２の認証処理を実行し、当該コマンドを受信しない状態で第１の認証処理を実行してもよい。
【００３３】
サーバー４００（認証装置）は、プロセッサー４０１、記憶部４１０、及び、サーバー通信部４２０を備える。プロセッサー４０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やマイコン等の演算処理装置である。プロセッサー４０１は、記憶部４１０に記憶された制御プログラム４１１を実行することによって、基本制御部４０２、通信制御部４０３、認証処理部４０４として機能する。これらの機能ブロックは、プロセッサー４０１が、制御プログラム４１１を実行することにより、ソフトウェアとハードウェアの協働により実現される。
【００３４】
記憶部４１０は、プロセッサー４０１が実行するプログラム、及び、プロセッサー４０１が処理するデータを不揮発的に記憶する記憶装置である。記憶部４１０は、例えば、フラッシュＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される。記憶部４１０は、プロセッサー４０１のワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含んでもよい。
【００３５】
記憶部４１０（第２記憶部）は、制御プログラム４１１、配信データ４１２、及び、認証データ４１３を記憶する。配信データ４１２は、第２の認証処理で、サーバー４００からＨＭＤ１００に配信されるデータである。例えば、配信データ４１２は、ＨＭＤ１００において文字列等が入力されるウェブページのデータである。このウェブページはユーザーインターフェイスとしてＨＭＤ１００により表示される。ウェブページには文字列を入力する入力領域が設けられ、入力領域に入力された文字列は、ＨＭＤ１００からサーバー４００に送信される。認証データ４１３は、第２の認証処理で、ＨＭＤ１００がサーバー４００に送信するデータの正否を判定して認証を行うためのデータであり、例えば、認証用の文字列を含む。認証データ４１３は、例えば、ＨＭＤ１００がサーバー４００に送信すべき正しい情報である正規データを含む。この場合、サーバー４００は、ＨＭＤ１００がサーバー４００に送信するデータが認証データ４１３と一致するか否かに基づき認証を行う。
【００３６】
サーバー通信部４２０（第２通信部）は、プロセッサー４０１の制御に従って、通信ネットワーク２を介したデータ通信を実行する。
【００３７】
基本制御部４０２は、サーバー４００の各部を制御する。通信制御部４０３は、サーバー通信部４２０を制御して、通信ネットワーク２を介してＨＭＤ１００とデータ通信を実行する。認証処理部４０４（認証部）は、第２の認証処理で、通信制御部４０３の制御によりＨＭＤ１００から受信するデータを、認証データ４１３に基づき認証する。認証処理部４０４は、認証結果を含むデータを生成し、通信制御部４０３は、認証結果を含むデータをＨＭＤ１００に送信する。
【００３８】
図３は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。
【００３９】
メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコントローラー１９９、センサーハブ１９３及びＦＰＧＡ１９５が接続される。これらは外部とのインターフェイスとして機能する。
【００４０】
メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装される。また、外部メモリーインターフェイス１９１、センサーハブ１９３、ＦＰＧＡ１９５、及びＵＳＢコントローラー１９９をコントローラー基板１２０に実装してもよい。また、ＵＳＢコネクター１９、コネクター４２、及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。
【００４１】
メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及びメインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ  Ｍｕｌｔｉ  Ｍｅｄｉａ  Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。
【００４２】
操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５、及び、電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。
【００４３】
６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、図１にＸ，Ｙ，Ｚで示した各軸方向の加速度を検出する３軸加速度センサー、及び、Ｘ，Ｙ，Ｚ各軸周りの角速度を検出する３軸ジャイロセンサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。
【００４４】
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）１１５は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信して、コントローラー１０の現在位置の座標を検出又は算出する位置検出器である。
【００４５】
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力してもよい。
【００４６】
通信部１１７（第１通信部、通信部）は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備え、これらが統合されたデバイスや通信モジュール基板であってもよい。
認証システム１が第２の認証処理を実行する場合、通信部１１７は、通信ネットワーク２（図２）を介してサーバー４００との間でデータ通信を実行する。
【００４７】
通信部１１７の通信方式は、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）、ＤＥＣＴ（Ｄｉｇｉｔａｌ  Ｅｎｈａｎｃｅｄ  Ｃｏｒｄｌｅｓｓ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等が用いられる。
【００４８】
音声処理部１８０は、オーディオコネクター４６に接続され、音声信号の入出力及び音声信号のエンコード／デコードを行う。音声処理部１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。
【００４９】
外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。
【００５０】
コントローラー１０は、バイブレーター１７６を搭載する。バイブレーター１７６は、例えば，モーターと偏心した回転子を備え、メインプロセッサー１２５の制御に従って振動を発生する。
【００５１】
インターフェイス（Ｉ／Ｆ）１９７は、センサーハブ１９３及びＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）１９５を、画像表示部２０に接続する。センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９５は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９７を介した伝送を実行する。
【００５２】
接続ケーブル４０、及び、図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。
【００５３】
ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、使用者Ｕの左右の眼に入射する。
【００５４】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及び、ＬＥＤインジケーター６７を、コントローラー１０に接続する。
【００５５】
ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００５６】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。
【００５７】
照度センサー６５は、受光量に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯及び消灯する。
【００５８】
温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。
【００５９】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。
【００６０】
左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、コントローラー１０に接続する。
【００６１】
６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例である。具体的には、６軸センサー２３５は、図１のＸ，Ｙ，Ｚ軸方向の加速度を検出する３軸加速度センサー、及びＸ，Ｙ，Ｚ各軸まわりの加速度を検出する３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵであってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００６２】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００６３】
カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９は、コントローラー１０のセンサーハブ１９３に接続される。
【００６４】
センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。
【００６５】
コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。
【００６６】
ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。
【００６７】
図４は、ＨＭＤ１００の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図４に示す記憶部１４０は、不揮発性記憶部１２１（図３）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８及び不揮発性記憶部１２１により構成される。
【００６８】
記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及びこれらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３及びコンテンツデータ１４４を記憶する。
【００６９】
制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１００を制御する。
【００７０】
オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能は、基本制御部１５１、通信制御部１５２、撮像制御部１５３、音声解析部１５４、画像検出部１５５、動き検出部１５６、操作検出部１５７、表示制御部１５８、及び、アプリケーション実行部１６１を含む。
【００７１】
アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、音声通信、画像通信、経路ナビゲーション等の機能を実現するプログラムである。
【００７２】
設定データ１４３は、ＨＭＤ１００の動作に関する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ  Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。
【００７３】
また、設定データ１４３には、アプリケーションプログラム１４２を実行する場合に使用されるデータが含まれる。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部、或いはＨＭＤ１００のセンサー類等を示すデータを含む。
【００７４】
ＨＭＤ１００では、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応した設定データ１４３が生成又は記憶されると、アプリケーション実行部１６１がアプリケーションプログラム１４２を起動できる。
【００７５】
コンテンツデータ１４４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４４は、静止画像データ、映像（動画像）データ、音声データ等を含む。コンテンツデータ１４４は複数のコンテンツのデータを含んでもよい。
【００７６】
入力補助データ１４５は、ＨＭＤ１００を用いたデータ入力の操作を補助するためのデータである。本実施形態のＨＭＤ１００は、使用者Ｕがデータを入力する操作を補助する機能を備える。具体的には、使用者Ｕが画像をカメラ６１により撮像させる操作に対応して、予め記憶されている文字列を入力する機能を提供する。この機能によれば、使用者Ｕは、文字を１つずつ入力する操作に比べ、簡単に、文字列を入力できる。
【００７７】
図５は、入力補助データ１４５の構成例を示す模式図である。
この例では、入力補助データ１４５は、入力される画像と、入力されるデータである入力文字列と、を対応づけて格納する。図５には入力補助データ１４５に含まれる入力文字列の内容を記載しているが、入力補助データ１４５は文字列の内容に関する情報を含む必要はない。
【００７８】
入力される画像は、ＨＭＤ１００において使用者Ｕが入力する画像であればよく、本実施形態では一例として、カメラ６１により撮像される画像とする。制御部１５０は、カメラ６１の撮像画像に含まれる被写体の画像を検出する。このとき、制御部１５０により、入力補助データ１４５に設定された画像が検出された場合に、入力補助データ１４５の入力文字列が入力される。
【００７９】
制御部１５０がカメラ６１から検出する被写体の画像に制限はない。従って、入力補助データ１４５において設定される入力画像も制限はない。例えば、入力画像は、ＱＲコード（登録商標）やバーコードなど、画像化されたコード等の画像そのものであってもよく、また、コードとしての意味を持たない文字、数字、幾何学的なパターン、画像、その他の図形を撮像した画像であってもよい。また、入力画像は、ＩＤカードや運転免許証などの証明書等を撮像した画像であってもよい。また、使用者Ｕの手、足、指、その他の身体、操作用の指示体や日用品を含む各種物品を撮像した画像であってもよく、建物を撮像した画像であってもよい。
【００８０】
入力画像が被写体を撮像した画像である場合、カメラ６１が各被写体を撮像する場合に加え、各被写体を撮像した撮像画像を、カメラ６１により撮像し、入力してもよい。
例えば、図５の入力補助データ１４５に登録された入力画像Ｎｏ．４はペットの写真であり、入力文字列は「Ｌｉｂｅｒｔｙ」である。この例では、入力画像Ｎｏ．４として登録されたペットの写真をカメラ６１が撮像した場合に、文字列「Ｌｉｂｅｒｔｙ」が入力される。また、入力画像Ｎｏ．４として登録された画像と同じペットが、入力画像Ｎｏ．４と同じ態様でカメラ６１により撮像された場合も、文字列「Ｌｉｂｅｒｔｙ」が入力される。
【００８１】
入力補助データ１４５には、数字、文字、記号などの文字種別や言語を問わず入力文字列を設定できる。例えば、入力補助データ１４５には、文字コードで表現可能な全ての文字を、入力文字列として設定できる。
さらに、入力補助データ１４５は、キーコードを入力文字列とすることもできる。図５の例では、画像Ｎｏ．６に対応付けて、リターンキーに対応する“Ｅｎｔｅｒ”のキーコードが入力文字列として設定される。ＨＭＤ１００は、画像Ｎｏ．６が入力されたことを条件として、Ｅｎｔｅｒキーに対応するキーコードを入力する。入力補助データに設定可能なキーコードは図５の例に限定されず、“ｔａｂ”キーコード等であってもよい。また、入力補助データに設定可能なキーコードは、Ｃｔｒｌキーと他のキーとを組み合わせたコードであってもよい。例えば、Ｃｔｒｌキーと文字キー「ｃ」との組合せに対応する“Ｃｔｒｌ”キーコード＋“ｃ”キーコードのように、Ｃｔｒｌキーと他の文字キーとの組合せによりコマンドとして機能するキーコードを割り当ててもよい。
【００８２】
入力文字列の機能はユーザーインターフェイスに対応して決定される。文字が入力される入力領域を有するユーザーインターフェイスでは、多くの場合、Ｅｎｔｅｒのキーコードは、入力領域に入力された文字列を確定する入力に相当する。入力補助データ１４５に入力文字列としてキーコードを設定することで、カメラ６１により画像を入力する操作により、入力文字列を確定させる入力を行える。
【００８３】
入力補助データ１４５を利用した入力では、制御部１５０は、入力補助データ１４５の入力画像と一致する画像がカメラ６１により入力されることを条件として、入力文字列を入力する。この条件は画像の一致であり、被写体が一致することではない。このため、入力画像と同じ被写体の画像が、カメラ６１により入力されても、被写体の形状や状態が異なっているなど、異なる画像として認識される場合は、入力文字列は入力されない。例えば、入力補助データ１４５の入力画像が特定の形状の手の画像である場合、カメラ６１の撮像画像から抽出された手の画像が、入力補助データ１４５に設定された入力画像と同じ形状の手の画像であることを条件として、入力文字列が入力される。この場合、手を特定の形状にしてカメラ６１により撮像させることで、文字列を入力できる。従って、使用者Ｕは、手を特定の形にするジェスチャー入力を行うことで、文字列を入力することが可能となる。
【００８４】
入力補助データ１４５は、カメラ６１の撮像画像から抽出された画像と、入力画像として設定された画像とが一致するか否かを判定するためのデータを含んでもよい。例えば、入力補助データ１４５は、入力画像の画像特徴量や、パターンマッチングにより入力画像と他の画像とを比較するためのデータを含む。
【００８５】
また、入力補助データ１４５は、入力画像として複数の画像を含むことが可能である。具体的には、カメラ６１により連続して入力される複数の画像の組合せが、１つの入力画像として入力補助データ１４５に設定される。この場合、カメラ６１が所定周期で連続して撮像する複数の撮像画像からそれぞれ抽出される複数の画像が、入力補助データ１４５に設定された入力画像に該当することを条件として、入力補助データ１４５に設定された入力文字列が入力される。
【００８６】
例えば、入力補助データ１４５には、形状の異なる複数の手の画像を入力画像として設定できる。この場合、カメラ６１が、形状の異なる手を連続して撮像することを条件として文字列が入力される。つまり、手の形状を特定の順序で変化させてカメラ６１により撮像させることで、文字列を入力できる。従って、使用者Ｕは、手の形を変化させるジェスチャー入力を行うことで、文字列を入力することが可能となる。
【００８７】
図４に戻り、音声辞書データ１４６は、制御部１５０がマイク６３により集音された使用者Ｕの音声を解析するためのデータである。例えば、音声辞書データ１４６は、使用者Ｕの音声のデジタルデータを、日本語、英語またはその他の設定された言語のテキストに変換するための辞書データを含む。
【００８８】
画像検出用データ１４７は、制御部１５０がカメラ６１の撮像画像データを解析し、撮像画像データに含まれる特定の被写体の画像を検出するための参照用のデータである。特定の被写体とは、例えば、使用者Ｕの指、手、足、その他の身体、操作用の指示体など、ジェスチャー操作に使用される指示体であってもよい。また、画像検出用データ１４７は、入力補助データ１４５に入力画像として設定される画像、または、入力画像の被写体をカメラ６１の撮像画像から検出し、抽出するためのデータを含む。
【００８９】
動き検出用データ１４８は、画像表示部２０の動きを入力として検出するためのデータを含む。例えば、動き検出用データ１４８は、６軸センサー１１１及び／または６軸センサー２３５の検出値の変化が、所定のパターンに該当するか否かを判定するためのデータを含む。動き検出用データ１４８に含まれる動きのパターンは複数であってもよい。
【００９０】
認証データ１４９は、第１の認証処理で、ＨＭＤ１００が認証を行うためのデータである。認証データ１４９は、例えば、ＨＭＤ１００により表示されるユーザーインターフェイスに入力された文字列等のデータと比較される正規データを含む。この場合、制御部１５０は、ユーザーインターフェイスに入力された文字列等のデータと認証データ１４９とを比較し、一致するか否かに基づき認証を行う。
【００９１】
基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化し、アプリケーション実行部１６１がアプリケーションプログラム１４２を実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１６１を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。
【００９２】
基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１００の各部への電源供給を個別にオフに切り替える。
【００９３】
通信制御部１５２は、通信部１１７を制御して、他の装置との間でデータ通信を行う。
例えば、通信制御部１５２は、パーソナルコンピューター等の図示しない画像供給装置から供給されるコンテンツデータを通信部１１７により受信し、受信したコンテンツデータをコンテンツデータ１４４として記憶部１４０に記憶させる。
【００９４】
撮像制御部１５３は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５３は撮像画像データをカメラ６１から取得して、記憶部１４０に一時的に記憶する。
【００９５】
音声解析部１５４は、マイク６３によって集音された音声のデジタルデータを解析して、音声辞書データ１４６を参照してテキスト化する音声認識処理を実行する。
【００９６】
画像検出部１５５は、撮像制御部１５３の制御により撮像された撮像画像データを、画像検出用データ１４７を参照して解析することにより、撮像画像データから入力用の画像を検出する。
【００９７】
動き検出部１５６は、６軸センサー２３５及び／または６軸センサー１１１の検出値に基づいて、画像表示部２０の動きを検出する。
【００９８】
操作検出部１５７は、操作部１７０に対する操作を検出する。
表示制御部１５８は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５８は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。表示制御部１５８は、画像表示部２０を制御して画像を表示させる。
【００９９】
また、表示制御部１５８は、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する画像処理を実行する。表示制御部１５８は、画像表示部２０により表示する画像又は映像の画像データに基づいて、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等を生成する。
【０１００】
また、表示制御部１５８は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、表示制御部１５８は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。表示制御部１５８は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。
【０１０１】
表示制御部１５８は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）が挙げられる。
【０１０２】
文字列処理部１５９（文字列生成部）は、画像検出部１５５により検出された画像が入力補助データ１４５の入力画像に該当するか否かを判定し、該当する場合に、入力画像に対応付けて入力補助データ１４５に設定された入力文字列を、ユーザーインターフェイスに入力する。文字列処理部１５９は、ユーザーインターフェイスに既に文字列が入力されている場合、続けて、他の文字列を入力する。複数の入力画像が入力された場合、文字列処理部１５９は、各入力画像に対応付けて入力補助データ１４５に設定された入力文字列を、入力画像の入力順に、ユーザーインターフェイスに入力する。
【０１０３】
例えば、図５に示した入力補助データ１４５に関して、画像Ｎｏ．３が入力された場合、文字列処理部１５９は入力文字列「２０１８０１０１」をユーザーインターフェイスに入力する。その後、画像Ｎｏ．１が入力されると、文字列処理部１５９は、既に入力された文字列「２０１８０１０１」に続けて、画像Ｎｏ．１に対応する入力文字列である「Ｔａｒｏ」を入力する。この結果、ユーザーインターフェイスには、「２０１８０１０１Ｔａｒｏ」が入力される。
【０１０４】
認証処理部１６０（認証部）は、ユーザーインターフェイスに入力された情報に基づき認証を実行する。認証処理部１６０は、第１の認証処理で、文字列処理部１５９によりユーザーインターフェイスに入力された文字列を認証データ１４９と対照することにより、認証を行う。また、認証処理部１６０は、第２の認証処理で、文字列処理部１５９によりユーザーインターフェイスに入力された文字列を、通信制御部１５２の制御によりサーバー４００に送信させる。この場合、認証処理部１６０は、サーバー４００から送信される認証結果を含むデータを解析し、認証結果を出力する。
【０１０５】
アプリケーション実行部１６１は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１６１は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。例えば、記憶部１４０に記憶されたコンテンツデータ１４４のいずれかが操作部１７０の操作により選択されると、コンテンツデータ１４４を再生するアプリケーションプログラム１４２が実行される。これにより制御部１５０は、コンテンツデータ１４４を再生するアプリケーション実行部１６１として動作する。
【０１０６】
続いて、ＨＭＤ１００の動作を説明する。以下に説明する動作において、制御部１５０は入力制御部として機能する。
図６は、ＨＭＤ１００の動作を示すフローチャートである。図７及び図８は、ＨＭＤ１００により表示される画面の構成例を示す図であり、図６の動作で表示されるユーザーインターフェイスの一例に相当する。まず、これらの図に基づき、第１の認証処理を実行する場合のＨＭＤ１００の動作を説明する。
【０１０７】
図７及び図８の各図において、画像表示部２０を装着した使用者Ｕの視野を符号Ｖで示し、視野Ｖにおいて、画像表示部２０が表示する画像が視認される範囲を符号ＶＲで示す。符号ＶＲは、画像表示部２０が画像を表示する領域を示しているため、表示領域ＶＲとする。また、視野Ｖでは、画像表示部２０を透過する外光により、外の景色が透過して視認できる。視野Ｖにおいて視認される外景を符号ＶＯで示す。
【０１０８】
制御部１５０は、表示制御部１５８の機能により、文字入力用の入力領域を有する入力画面を表示し（ステップＳ１１）、画像入力を受け付ける入力モードを開始する（ステップＳ１２）。
【０１０９】
図７の入力画面３１０は、ステップＳ１１で表示されるユーザーインターフェイスの一例である。入力画面３１０は、例えば、ウェブサイトのログイン用のウェブページであり、文字列を入力するための入力領域３１１、３１２が配置されている。
【０１１０】
図６に戻り、制御部１５０は、撮像制御部１５３の機能によりカメラ６１の撮像画像を取得し、画像検出部１５５の機能により撮像画像データを解析して、使用者Ｕによる画像入力を検出する（ステップＳ１３）。
制御部１５０は、文字列処理部１５９により、入力補助データ１４５を参照し（ステップＳ１４）、ステップＳ１３で入力された画像が入力補助データ１４５の入力画像に該当するか否かを判定する（ステップＳ１５）。
【０１１１】
ステップＳ１３で入力された画像が入力補助データ１４５の入力画像に該当しない場合（ステップＳ１５；ＮＯ）、制御部１５０は、ステップＳ１３に戻る。ここで、制御部１５０は、エラーメッセージを表示してからステップＳ１３に戻っても良い。例えば、ＨＭＤ１００において、エラーメッセージを表示するか否かを事前に設定可能な構成とすることができる。エラーメッセージの表示に関する設定状態は、例えば設定データ１４３に含めることができる。
【０１１２】
入力された画像が入力補助データ１４５の入力画像に該当する場合（ステップＳ１５；ＹＥＳ）、制御部１５０は、入力画像に対応付けて入力補助データ１４５に設定された入力文字列が確定操作のキーコードであるか否かを判定する（ステップＳ１６）。確定操作のキーコードでない場合（ステップＳ１６；ＮＯ）、制御部１５０は、文字列処理部１５９の機能により、入力画像に対応付けて入力補助データ１４５に設定された入力文字列を取得し、入力領域に入力し（ステップＳ１７）、ステップＳ１３に戻る。
【０１１３】
制御部１５０は、ステップＳ１３〜Ｓ１７を繰り返し実行可能である。このため、上述したように、ステップＳ１３の画像入力が複数回実行された場合、各々の入力画像に対応する文字列を、画像の入力順に、入力領域に入力できる。例えば、図５に示した入力補助データ１４５の例において、画像Ｎｏ．３と画像Ｎｏ．１とが順に入力された場合、図８に示すように、入力領域３１２に、文字列「２０１８０１０１」と文字列「Ｔａｒｏ」とが繋げて入力される。ステップＳ１３〜Ｓ１７では、図８に示す「パスワード」欄に限らず、例えば「ＩＤ」欄に文字入力を行ってもよい。この場合、入力対象の欄にカーソルを表示し、カーソル位置に文字列が入力される構成とし、キーコードの入力によりカーソルをＩＤの入力欄からパスワードの入力欄に移動可能としてもよい。
【０１１４】
また、入力画像に対応付けて入力補助データ１４５に設定された入力文字列が確定操作のキーコードである場合（ステップＳ１６；ＹＥＳ）、制御部１５０は、文字列処理部１５９の機能により、入力領域に既に入力された文字列を確定する。ここで、入力画像に対応付けて入力補助データ１４５に設定された入力文字列が確定操作のキーコードを含んでいる場合、入力文字列が取得されるとともに入力文字列が確定される。制御部１５０は、認証処理を実行するか否かを判定する（ステップＳ１８）。認証処理を実行しない場合とは、例えば、ステップＳ１２で開始された入力モードが、認証処理を目的とするモードではない場合が挙げられる。具体的には、ＨＭＤ１００が他の装置からメッセージを受信して表示し、このメッセージに対する応答メッセージを入力するためにステップＳ１２で画像入力モードを開始する場合が挙げられる。この場合、制御部１５０は、ステップＳ１３の画像入力に応じて、ステップＳ１５で応答メッセージの文字列を入力するとともに文字列を確定する。その後、制御部１５０は、認証を実行しないと判定し（ステップＳ１８；ＮＯ）、応答メッセージの送信など予め設定された処理を実行して、本処理を終了する。
【０１１５】
また、認証処理を実行すると判定した場合（ステップＳ１８；ＹＥＳ）、制御部１５０は、認証処理部１６０により認証を実行する（ステップＳ１９）。ステップＳ１９で、認証処理部１６０は、ステップＳ１８で入力された文字列を、認証データ１４９と照合することにより、認証を実行する。
【０１１６】
制御部１５０は認証の成否を判定し（ステップＳ２０）、認証に成功した場合には（ステップＳ２０；ＹＥＳ）、認証成功を示す表示を行って（ステップＳ２１）、本処理を終了する。認証に失敗した場合には（ステップＳ２０；ＮＯ）、認証失敗を示すエラーを表示し（ステップＳ２２）、ステップＳ１３に戻る。
【０１１７】
図９は、ＨＭＤ１００の動作を示すフローチャートであり、図１０はサーバー４００の動作を示すフローチャートである。これらの図に基づき、第２の認証処理を実行する場合の認証システム１の動作を説明する。
【０１１８】
サーバー４００は、通信制御部４０３の機能により、ＨＭＤ１００に対してユーザーインターフェイスを構成するウェブページのデータを送信する（ステップＳ４１）。
ＨＭＤ１００は、通信制御部１５２の機能により、サーバー４００からウェブページのデータをダウンロードする（ステップＳ３１）。ＨＭＤ１００は、表示制御部１５８の機能により、ダウンロードしたウェブページのデータに基づき、文字入力用の入力領域を有する入力画面を表示し（ステップＳ１１）、画像入力を受け付ける入力モードを開始する（ステップＳ１２）。
【０１１９】
ステップＳ１１〜Ｓ１５の動作は、上述した第１の認証処理（図６）と共通である。
ステップＳ１５で、入力された画像が入力補助データ１４５の入力画像に該当する場合（ステップＳ１５；ＹＥＳ）、制御部１５０は、入力画像に対応付けて入力補助データ１４５に設定された入力文字列がキーコードであるか否かを判定する（ステップＳ３２）。キーコードでない場合（ステップＳ３２；ＮＯ）、制御部１５０は、文字列処理部１５９の機能により、入力画像に対応付けて入力補助データ１４５に設定された入力文字列を取得し、入力領域に入力し（ステップＳ１７）、ステップＳ１３に戻る。
【０１２０】
また、入力画像に対応付けて入力補助データ１４５に設定された入力文字列がキーコードである場合（ステップＳ３２；ＹＥＳ）、制御部１５０は、入力画像に対応するキーコードを入力する（ステップＳ３３）。例えば、“ｔａｂ”キーコードが入力された場合、制御部１５０は、ユーザーインターフェイスにおけるカーソルの位置を異なる入力欄に移動したり、ユーザーインターフェイスに配置されたボタン（図示略）を選択する等の処理を実行する。また、入力画像に対応付けて入力補助データ１４５に設定された入力文字列が確定操作のキーコードを含んでいる場合、入力文字列が取得されるとともに入力文字列が確定される。
【０１２１】
制御部１５０は、認証処理を実行するか否かを判定する（ステップＳ３４）。この判定は、ステップＳ１８と同様である。認証を実行しないと判定した場合（ステップＳ３４；ＮＯ）、制御部１５０は、応答メッセージの送信など予め設定された処理を実行して、本処理を終了する。
【０１２２】
また、認証処理を実行すると判定した場合（ステップＳ３４；ＹＥＳ）、制御部１５０は、ステップＳ３３で入力されたキーコードが、認証実行を指示する入力か否かを判定する（ステップＳ３５）。認証実行を指示するキーコードでない場合（ステップＳ３５；ＮＯ）、制御部１５０はステップＳ１３に戻る。また、認証実行を指示するキーコードである場合（ステップＳ３５；ＹＥＳ）、文字列処理部１５９の機能により、入力領域に既に入力された文字列を確定する。制御部１５０は、認証処理部１６０により、確定した入力文字列を、認証要求とともにサーバー４００に送信する（ステップＳ３６）。
【０１２３】
サーバー４００は、ＨＭＤ１００が送信する認証要求を受信し（ステップＳ４２）、認証要求と共に受信した文字列に対し、認証処理部４０４によって認証を行う（ステップＳ４３）。サーバー４００は、認証結果を含む応答を生成し、通信制御部４０３によりＨＭＤ１００に送信する（ステップＳ４４）。
【０１２４】
ＨＭＤ１００は、通信制御部１５２の機能により、サーバー４００から応答を受信し（ステップＳ３７）、応答に含まれる認証結果が、認証成功か否かを判定する（ステップＳ３８）。
認証に成功した場合（ステップＳ３８；ＹＥＳ）、ＨＭＤ１００は、認証成功を示す表示を行って（ステップＳ２１）、本処理を終了する。認証に失敗した場合には（ステップＳ３８；ＮＯ）、認証失敗を示すエラーを表示し（ステップＳ２２）、ステップＳ１３に戻る。
【０１２５】
以上説明したように、ＨＭＤ１００は、使用者Ｕの頭部に装着され、外景ＶＯを透過して視認可能に構成される画像表示部２０を有する。ＨＭＤ１００は、画像表示部２０を透過して視認される外景を含む範囲を撮像するカメラ６１と、対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部１４０とを備える。ＨＭＤ１００は、カメラ６１の撮像画像から対象物の画像である入力画像を検出する画像検出部１５５を備える。また、画像検出部１５５が検出した対象物の画像に対応付けられた文字情報を記憶部１４０から取得し、取得した文字情報が示す文字又は文字列を、対象物の検出順に並べて文字列を生成する文字列処理部１５９を備える。制御部１５０は、画像表示部２０に文字入力用のユーザーインターフェイスを表示させ、ユーザーインターフェイスに配置された入力領域に、文字列処理部１５９により生成された文字列を入力する。
【０１２６】
本発明の頭部装着型表示装置、及び、頭部装着型表示装置の制御方法を適用したＨＭＤ１００によれば、画像を入力する簡易な操作により文字列の入力が可能であり、文字列を入力する操作の負担を軽減できる。特許文献１の構成のように認証用画像を利用するケースでは、認証鍵の秘匿性を維持するために認証用画像を使い回すことができず、認証用画像を認証鍵の数に対応して準備する必要があった。これに対し、ＨＭＤ１００は、対象物の画像を検出することにより、対象物の画像に対応付けられた文字情報に基づく文字列が生成されて入力されるので、画像を検出させる操作により文字列を入力できる。これにより、文字列の秘匿性を損なうことなく、文字列の複雑性にかかわらず、簡易な操作により文字列の入力を可能とし、文字列を入力する操作の負担を軽減できる。画像を入力する順序に対応して、文字列が続けて入力されるので、画像を組み合わせることが可能なため、限られた数の画像を用いて多様な文字列の入力に対応できる。
【０１２７】
また、認証システム１は、ＨＭＤ１００と、認証装置としてのサーバー４００とを備え、第２の認証処理を実行する。ＨＭＤ１００は、通信を行う通信部１１７と、使用者Ｕの頭部に装着され、外景を透過して視認可能に構成される画像表示部２０と、画像表示部２０を透過して視認される外景を含む範囲を撮像するカメラ６１とを備える。また、対象物の画像に関する情報と文字情報とを対応付けて記憶する記憶部１４０と、カメラ６１の撮像画像から対象物の画像を検出する画像検出部１５５とを備える。また、画像検出部１５５が検出した対象物の画像に対応付けられた文字情報を記憶部１４０から取得し、取得した文字情報が示す文字又は文字列を、対象物の検出順に並べて文字列を生成する文字列処理部１５９を備える。ＨＭＤ１００の制御部１５０は、画像表示部２０に文字入力用のユーザーインターフェイスを表示させ、ユーザーインターフェイスに配置された入力領域に、文字列処理部１５９により生成された文字列を入力する。また、入力された文字列を認証要求とともに通信部１１７により送信し、通信部１１７によって認証結果を受信する通信制御部１５２を備える。サーバー４００は、サーバー通信部４２０と、予め設定された認証用文字列を含む認証データ４１３を記憶する記憶部４１０とを備える。サーバー４００は、サーバー通信部４２０が受信した文字列と記憶部４１０に記憶された認証データ４１３とを対照することにより認証を行う認証処理部４０４を備え、認証結果をサーバー通信部４２０により文字列の送信元に送信する。この認証システム１によれば、ＨＭＤ１００において入力した認証用の文字列を、サーバー４００により認証する構成において、文字列の秘匿性を損なうことなく、簡易な操作によりＨＭＤ１００における文字列の入力を可能とする。これにより、文字列を入力する操作の負担を軽減できる。
【０１２８】
また、ＨＭＤ１００は、第１の認証処理で、入力文字列を対象として認証を行う認証処理部１６０を備える。記憶部１４０は、予め設定された認証用文字列としての認証データ１４９を記憶する。認証処理部１６０は、入力文字列と記憶部１４０に記憶された認証データ１４９とを対照することにより認証を行う。これにより、認証用文字列を入力する操作の負担を軽減できる。
【０１２９】
また、ＨＭＤ１００は、通信部１１７と、第２の認証処理で入力文字列を認証要求とともに通信部１１７により送信し、通信部１１７によって認証結果を受信する通信制御部１５２を備える。これにより、外部の装置による認証を利用する場合に、認証用の文字列を入力する操作の負担を軽減できる。
【０１３０】
また、入力補助データ１４５に設定される入力画像は、使用者Ｕの手の画像であって、形状の異なる複数の手の画像の組合せで構成されてもよい。この場合、制御部１５０は、画像検出部１５５によって形状の異なる複数の手の画像が検出された場合に、検出された手の画像の組合せに対応する文字列を生成する。これにより、ＨＭＤ１００は、使用者Ｕの手によるジェスチャーを利用して文字列を容易に入力できる。
【０１３１】
また、入力補助データ１４５に設定される入力画像は、使用者Ｕの手を所定の形状とした画像であってもよい。この場合、制御部１５０は、画像検出部１５５によって所定の形状の手の画像が検出された場合に、検出された手の画像に対応する文字列を生成する。これにより、手の形状による入力を利用して、文字列を容易に入力できる。
【０１３２】
この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記実施形態では、画像検出部１５５がカメラ６１の撮像画像データから検出する画像が、入力補助データ１４５に設定された入力画像に該当することを条件として、ユーザーインターフェイスとしての入力画面３１０に文字列を入力する例を説明した。制御部１５０は、例えば、文字列を入力せずに、入力補助データ１４５に設定される動作を実行してもよい。具体的には、入力補助データ１４５に、入力画像に対応付けて、制御部１５０が実行する処理を示す情報、または、制御部１５０に対し処理を実行させるコマンドを格納してもよい。コマンドは、例えば、制御部１５０が実行する処理を指定するデータと、処理の実行を指示する制御データとを含む。この場合、画像検出部１５５が検出する画像が入力補助データ１４５に設定された入力画像に該当することを条件として、制御部１５０に対して処理の実行が指示される。この処理は、例えば、認証処理であってもよい。また、認証成功と判定して、認証後に実行される処理であってもよい。この構成によれば、カメラ６１により画像を入力すること自体を認証処理とすることができ、文字列の入力を省略して、画像の入力による認証を可能とすることができ、認証処理に要する操作の負担をより一層軽減できる。
【０１３３】
また、入力補助データ１４５に設定される入力画像は、物体や建物の画像であってもよい。この場合、使用者Ｕは、カメラ６１により、物体や建物の画像を撮像させることで、文字列の入力や認証を実行させることができる。このため、使用者Ｕが画像表示部２０を装着した状態で、両手で作業を行っている場合に、カメラ６１を所定の物体や建物の方向に向けることで、手を用いた入力を行うことなく、文字列の入力や認証を実行させることができる。
【０１３４】
また、文字列処理部１５９は、入力補助データ１４５において入力画像に対応付けられた文字列を入力する際に、他の情報を入力することが可能な構成であってもよい。
他の情報とは、例えば、音声解析部１５４が音声認識により生成したテキストが挙げられる。また、例えば、画像検出部１５５がカメラ６１の撮像画像データに基づき人物の顔の認証を実行し、顔認証により特定される人物の氏名であってもよい。また、例えば、制御部１５０がＧＰＳ１１５により検出するＨＭＤ１００の位置情報であってもよい。また、例えば、制御部１５０が６軸センサー１１１や磁気センサー１１３により検出するＨＭＤ１００の方向や標高に関する情報であってもよい。また、例えば、制御部１５０が検出する時刻情報であってもよい。また、制御部１５０が、通信制御部１５２により外部の機器と通信することにより取得する情報であってもよい。この種の情報としては、指紋センサーを搭載した機器から得られる指紋に関する情報、温度センサーを搭載した機器から得られる温度情報、乾湿センサーや気圧センサーを搭載した機器から得られる湿度や気圧等が挙げられる。また、例えば、画像検出部１５５がカメラ６１の撮像画像データに基づき、予め設定されたマーカーや、画像化されたコードを検出し、検出したマーカーやコードに対応付けられる情報を入力してもよい。これらの構成によれば、予め入力補助データ１４５に設定された文字列に加え、ＨＭＤ１００の状態に関する情報を、サーバー４００等に送信することができる。この場合、サーバー４００は、入力補助データ１４５に基づき入力される文字列に関して認証を実行し、認証に成功した場合に、入力補助データ１４５に基づき入力される文字列に付加された情報を取得してもよい。
【０１３５】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０１３６】
さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【０１３７】
また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。
【０１３８】
また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。
【０１３９】
また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１９１などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
【０１４０】
また、本発明の頭部装着型表示装置の制御方法を、コンピューターを用いて実現する場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成できる。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
【符号の説明】
【０１４１】
１…認証システム、２…通信ネットワーク、１０…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…画像表示部（表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…カメラ（撮像部）、６３…マイク、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、６９…温度センサー、１００…ＨＭＤ、１１７…通信部（第１通信部）、１４０…記憶部、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…コンテンツデータ、１４５…入力補助データ、１４６…音声辞書データ、１４７…画像検出用データ、１４８…動き検出用データ、１４９…認証データ、１５０…制御部（入力制御部）、１５１…基本制御部、１５２…通信制御部、１５３…撮像制御部、１５４…音声解析部、１５５…画像検出部、１５６…動き検出部、１５７…操作検出部、１５８…表示制御部、１５９…文字列処理部（文字列生成部）、１６０…認証処理部（認証部）、１６１…アプリケーション実行部、２２１…ＯＬＥＤユニット、２４１…ＯＬＥＤユニット、３１０…入力画面、４００…サーバー（、４０１…プロセッサー、４０２…基本制御部、４０３…通信制御部、４０４…認証処理部（認証部）、４１０…記憶部（第２記憶部）、４１１…制御プログラム、４１２…配信データ、４１３…認証データ、４２０…サーバー通信部（第２通信部）、ＥＬ…端部、ＥＲ…端部、Ｕ…使用者。
【図１】
2019145009.tif 000003
【図２】
2019145009.tif 000004
【図３】
2019145009.tif 000005
【図４】
2019145009.tif 000006
【図５】
2019145009.tif 000007
【図６】
2019145009.tif 000008
【図７】
2019145009.tif 000009
【図８】
2019145009.tif 000010
【図９】
2019145009.tif 000011
【図１０】
2019145009.tif 000012