(57)【要約】      （修正有）【課題】指示体による入力の精度を向上させ、使用者の使い勝手を向上させる頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法を提供する。【解決手段】頭部装着型表示装置は、外景を透過し、外景とともに視認できるように画像を表示領域に表示する画像表示部と、少なくとも画像表示部を透過する範囲を含む領域において、使用者の動作に対応づけられた指示体を検出するカメラ及び撮像制御部１４７と、カメラ及び撮像制御部１４７による指示体の検出状態を示す画像を表示領域に表示させ、カメラ及び撮像制御部１４７により検出される指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させる表示制御部１５３と、を備える。【選択図】図５
2018206080.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着される頭部装着型表示装置であって、
外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、
少なくとも前記表示部を透過する範囲を含む領域において、前記使用者の動作に対応づけられた指示体を検出する検出部と、
前記検出部が前記指示体を検出する検出状態を示す画像を前記表示領域に表示させ、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させる表示制御部と、
を備える頭部装着型表示装置。
【請求項２】
前記表示制御部は、前記検出部の検出状態を示す画像を、前記外景において前記指示体が視認される位置に対応させて、前記表示領域に表示させる請求項１記載の頭部装着型表示装置。
【請求項３】
前記表示制御部は、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を、前記検出部の検出状態を示す画像に対応する位置に表示させる請求項２記載の頭部装着型表示装置。
【請求項４】
前記表示制御部は、前記検出部の検出状態を示す画像として、前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させ、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させる請求項１記載の頭部装着型表示装置。
【請求項５】
前記表示制御部は、前記候補を前記表示領域の候補表示エリアに表示させ、前記候補表示エリアを、前記検出エリアを示す前記画像に対応する位置、又は前記検出エリアにおいて検出された前記指示体に対応する位置に表示させる請求項４記載の頭部装着型表示装置。
【請求項６】
前記表示制御部は、前記検出部が前記候補表示エリアに対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補のいずれかを選択する請求項５記載の頭部装着型表示装置。
【請求項７】
前記表示制御部は、前記検出部が前記表示領域に表示される前記候補の文字に対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補の文字のいずれかを選択する請求項１から６のいずれか１項に記載の頭部装着型表示装置。
【請求項８】
前記表示制御部は、複数の前記候補を表示させ、前記検出部により検出された前記指示体の移動方向が前記候補を表示させたいずれかの方向に対応する場合に、対応する前記候補を選択する請求項１から７のいずれか１項記載の頭部装着型表示装置。
【請求項９】
前記表示制御部は、前記検出部により検出された前記指示体の形状が、予め設定された時間以上同一の形状である場合に、前記候補を表示させる請求項１から８のいずれか１項記載の頭部装着型表示装置。
【請求項１０】
前記表示制御部は、前記検出部により検出された前記指示体の位置が、予め設定された位置に重なる場合に、前記候補を表示させる請求項１から９のいずれか１項記載の頭部装着型表示装置。
【請求項１１】
前記表示制御部は、前記検出部により検出された前記指示体が、予め設定された条件に該当する場合に、前記候補を表示させる請求項１から１０のいずれか１項記載の頭部装着型表示装置。
【請求項１２】
前記表示制御部は、前記検出エリアを示す画像として、前記使用者の左手を含む指示体を検出する検出エリアを示す画像と、前記使用者の右手を含む指示体を検出する検出エリアを示す画像とを表示させる請求項１から１１のいずれか１項記載の頭部装着型表示装置。
【請求項１３】
前記検出部は、前記使用者の左手を含む第１指示体、及び、前記使用者の右手を含む第２指示体を前記指示体として検出し、
前記表示制御部は、前記検出部が検出する前記第１指示体の操作の対象とされる第１操作画像と、前記第２指示体の操作の対象とされる第２操作画像とを前記表示領域に表示させる請求項１から１２のいずれか１項記載の頭部装着型表示装置。
【請求項１４】
前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応して外部の機器に制御情報を出力する制御情報出力部を備える請求項１から１３のいずれか１項記載の頭部装着型表示装置。
【請求項１５】
前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応して外部の機器に制御情報を出力する制御情報出力部を備え、
前記検出部は、前記使用者の左手を含む第１指示体、及び、前記使用者の右手を含む第２指示体を前記指示体として検出し、
前記制御情報出力部は、前記検出部が検出する前記第１指示体の操作に対応する第１情報と、前記検出部が検出する前記第２指示体の操作に対応する第２情報との少なくとも一方を含む前記制御情報を出力する請求項１から１３のいずれか１項記載の頭部装着型表示装置。
【請求項１６】
音声を入力する音声入力部を備え、
前記検出部は、前記音声入力部が予め設定された音声を入力した場合に、前記指示体を検出する請求項１から１５のいずれか１項記載の頭部装着型表示装置。
【請求項１７】
操作を検出する操作検出部を備え、
前記検出部は、前記操作検出部によって予め設定された操作を検出した場合に、前記指示体を検出する状態に移行する請求項１から１６のいずれか１項記載の頭部装着型表示装置。
【請求項１８】
前記指示体としての前記使用者の手指の予め設定された動きの軌跡を示すジェスチャーと、前記候補とを対応付けたジェスチャー登録辞書と、前記手指の予め設定された形状を示すハンドサインと、前記候補とを対応付けたハンドサイン登録辞書との少なくとも一方を記憶する記憶部を備え、
前記表示制御部は、前記検出部が検出する前記手指の動き、形状及び位置の少なくともいずれかと、前記ジェスチャー登録辞書又は前記ハンドサイン登録辞書とのマッチングにより前記ジェスチャー又は前記ハンドサインを選択し、選択した前記ジェスチャー又は前記ハンドサインに対応する前記候補を表示させる請求項１から１７のいずれか１項記載の頭部装着型表示装置。
【請求項１９】
他の使用者の動作に対応付けられた前記指示体を、前記使用者の動作に対応付けられた前記指示体の検出方向とは異なる方向から検出し、
異なる方向から検出される前記他の使用者の動作に対応付けられた前記指示体の動き、形状及び位置の少なくともいずれかに対応する候補を表示するための外部辞書情報を記憶した記憶部を備え、
前記表示制御部は、前記外部辞書情報に基づいて、前記他の使用者の動作に対応付けられた前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を特定し、特定した前記候補を表示させる請求項１から１７のいずれか１項に記載の頭部装着型表示装置。
【請求項２０】
外部の頭部装着型表示装置と通信する通信部を備え、
前記通信部により前記外部辞書情報を前記外部の頭部装着型表示装置に送信する請求１９記載の頭部装着型表示装置。
【請求項２１】
前記検出部は、前記他の使用者を光学的に検出し、
前記表示制御部は、前記検出部の検出結果に基づいて、前記他の使用者の動作に対応づけられた前記指示体の動き、形状及び位置の少なくともいずれかを光学的に検出する第１検出エリアを前記表示領域に表示させ、前記第１検出エリアを除く前記表示領域に、前記使用者の動作に対応づけられた前記指示体の動き、形状及び位置の少なくともいずれかを光学的に検出する第２検出エリアを表示させる請求項１９又は２０記載の頭部装着型表示装置。
【請求項２２】
前記表示制御部は、前記第１検出エリアにおいて、前記検出部により検出される前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を前記外部辞書情報に基づいて特定し、前記第２検出エリアにおいて、前記検出部により検出される前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を前記辞書情報に基づいて特定する請求項２１記載の頭部装着型表示装置。
【請求項２３】
外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、少なくとも前記表示部を透過する範囲を含む領域において、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置に搭載されたコンピューターが実行するプログラムであって、
コンピューターに、
前記検出部が前記指示体を検出する検出状態を示す画像を前記表示領域に表示させる手順と、
前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させる手順と、
を実行させるプログラム。
【請求項２４】
外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、少なくとも前記表示部を透過する範囲を含む領域において、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置の制御方法であって、
前記検出部が前記指示体を検出する検出状態を示す画像を前記表示領域に表示させるステップと、
前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させるステップと、
を有することを特徴とする頭部装着型表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、指示体の動き等を検出して、検出した指示体の動き等に対応した処理を実行する装置が知られている（例えば、特許文献１参照）。
特許文献１は、手話者の指文字を撮像して、撮像した画像データを処理して手話者の指文字を認識する手話認識装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２５２５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、使用者の頭部に装着され、外景に重ねて画像を視認させる頭部装着型表示装置は、表示される画像によって外景の視認性が低下する場合があるため、頭部装着型表示装置の操作部を操作し難い場合があった。このため、入力の精度が高く、使い勝手のよい入力方法が求められていた。
本発明は、指示体による入力の精度を向上させ、使用者の使い勝手を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、少なくとも前記表示部を透過する範囲を含む領域において、前記使用者の動作に対応付けられた指示体を検出する検出部と、前記検出部が前記指示体を検出する検出状態を示す画像を前記表示領域に表示させ、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させる表示制御部と、を備える。
本発明によれば、検出部による指示体の検出状態を示す画像が表示領域に表示される。このため、検出部による指示体の検出状態の確認が容易になる。また、検出部が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示される。このため、指示体による入力精度を高め、使用者の使い勝手を向上させることができる。
【０００６】
また、本発明は、前記表示制御部は、前記検出部の検出状態を示す画像を、前記外景において前記指示体が視認される位置に対応させて表示させる。
本発明によれば、検出部の検出状態を示す画像が、指示体が視認される位置に対応させて表示されるので、使用者は指示体を操作しながら検出状態の確認ができる。
【０００７】
また、本発明は、前記表示制御部は、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を、前記検出部の検出状態を示す画像に対応する位置に表示させる。
本発明によれば、検出部が検出する指示体の動き、形状及び位置の少なくともいずれかに対応する候補が検出部の検出状態を示す画像に対応する位置に表示されるので、使用者は指示体を操作しながら検出部の検出状態の確認ができる。
【０００８】
また、本発明は、前記表示制御部は、前記検出部の検出状態を示す画像として、前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させ、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させる。
本発明によれば、検出部の検出状態を示す画像として、検出部が指示体を検出する検出エリアを示す画像が表示されるので、指示体が検出される検出エリアの確認が容易になり、操作性を高めることができる。また、検出部が検出する指示体の動き、形状及び位置の少なくともいずれかに対応する候補が検出エリアを示す画像に対応する位置に表示されるので、使用者は指示体を操作しながら検出部の検出状態の確認ができる。
【０００９】
また、本発明は、前記表示制御部は、前記候補を前記表示領域の候補表示エリアに表示させ、前記候補表示エリアを、前記検出エリアを示す前記画像に対応する位置、又は前記検出エリアにおいて検出された前記指示体に対応する位置に表示させる。
本発明によれば、候補表示エリアを示す画像が、検出エリアを示す画像に対応する位置、又は検出エリアにおいて検出された指示体に対応する位置に表示される。このため、候補表示エリアに表示された候補を選択する操作が簡易になる。
【００１０】
また、本発明は、前記表示制御部は、前記検出部が前記候補表示エリアに対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補のいずれかを選択する。
本発明によれば、指示体の動き、形状及び位置の少なくともいずれかにより、複数の候補のいずれかを選択することができる。
【００１１】
また、本発明は、前記表示制御部は、前記検出部が前記表示領域に表示される前記候補の文字に対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補の文字のいずれかを選択する。
本発明によれば、候補の文字に対応する位置に移動させた指示体の動き、形状及び位置に基づいて、複数の候補の文字のいずれかを選択することができる。
【００１２】
また、本発明は、前記表示制御部は、複数の前記候補を表示させ、前記検出部により検出された前記指示体の移動方向が前記候補を表示させたいずれかの方向に対応する場合に、対応する前記候補を選択する。
本発明によれば、選択したい候補が表示された方向に指示体を移動させることで、選択したい候補を選択することができる。
【００１３】
また、本発明は、前記表示制御部は、前記検出部により検出された前記指示体の形状が、予め設定された時間以上同一の形状である場合に、前記候補を表示させる。
本発明によれば、指示体の形状を予め設定された時間以上同一の形状とすることで、候補を表示させることができる。このため、簡易な操作により候補を表示させることができる。
【００１４】
また、本発明は、前記表示制御部は、前記検出部により検出された前記指示体の位置が、予め設定された位置に重なる場合に、前記候補を表示させる。
本発明によれば、指示体が、予め設定された位置に重なることで候補が表示される。このため、指示体による簡易な操作で候補を表示させることができる。
【００１５】
また、本発明は、前記表示制御部は、前記検出部により検出された前記指示体が、予め設定された条件に該当する場合に、前記候補を表示させる。
本発明によれば、指示体の形状を、予め設定された条件に該当する形状とすることで候補が表示される。このため、簡易な操作で候補を表示させることができる。
【００１６】
また、本発明は、前記表示制御部は、前記検出エリアを示す画像として、前記使用者の左手を含む指示体を検出する検出エリアを示す画像と、前記使用者の右手を含む指示体を検出する検出エリアを示す画像とを表示させる。
本発明によれば、使用者の左手を含む指示体の検出エリアを示す画像と、右手を含む指示体の検出エリアを示す画像とがそれぞれに表示される。このため、検出部が検出した指示体が左手を含む指示体であるのか、右手を含む指示体であるのかを判定する必要がなくなり、候補を表示する時間を短縮し、使用者の意図する候補が表示される確率を高めることができる。
【００１７】
また、本発明は、前記検出部は、前記使用者の左手を含む第１指示体、及び、前記使用者の右手を含む第２指示体を前記指示体として検出し、前記表示制御部は、前記検出部が検出する前記第１指示体の操作の対象とされる第１操作画像と、前記第２指示体の操作の対象とされる第２操作画像とを前記表示領域に表示させる。
本発明によれば、使用者の左手を含む第１指示体により操作される第１操作画像と、使用者の右手を含む第２指示体により操作される第２操作画像とを表示させることができる。このため、第１指示体による第１操作画像の操作と、第２指示体による第２操作画像の操作とが可能となる。
【００１８】
また、本発明は、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応して外部の機器に制御情報を出力する制御情報出力部を備える。
本発明によれば、指示体の動き、形状及び位置の少なくともいずれかに対応した制御情報が外部の機器に出力される。このため、指示体の動き、形状及び位置の少なくともいずれかにより外部の機器を操作することができる。
【００１９】
また、本発明は、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応して外部の機器に制御情報を出力する制御情報出力部を備え、前記検出部は、前記使用者の左手を含む第１指示体、及び、前記使用者の右手を含む第２指示体を前記指示体として検出し、前記制御情報出力部は、前記検出部が検出する前記第１指示体の操作に対応する第１情報と、前記検出部が検出する前記第２指示体の操作に対応する第２情報との少なくとも一方を含む前記制御情報を出力する。
本発明によれば、検出部により検出される第１指示体の操作に対応する第１情報検と、第２指示体の操作に対応する第２情報との少なくとも一方を含む制御情報が制御情報出力部により出力される。このため、第１指示体の操作、又は第２指示体の操作により外部の機器を操作することが可能となる。
【００２０】
また、本発明は、音声を入力する音声入力部を備え、前記検出部は、前記音声入力部が予め設定された音声を入力した場合に、前記指示体を検出する。
本発明によれば、予め設定された音声により、頭部装着型表示装置に、指示体の検出を開始させることができる。
【００２１】
また、本発明は、操作を検出する操作検出部を備え、前記検出部は、前記操作検出部によって予め設定された操作を検出した場合に、前記指示体を検出する状態に移行する。
本発明によれば、予め設定された操作を行うことで、頭部装着型表示装置を、指示体を検出する状態に移行させることができる。
【００２２】
また、本発明は、前記指示体としての前記使用者の手指の予め設定された動きの軌跡を示すジェスチャーと、前記候補とを対応付けたジェスチャー登録辞書と、前記手指の予め設定された形状を示すハンドサインと、前記候補とを対応付けたハンドサイン登録辞書との少なくとも一方を記憶する記憶部を備え、前記表示制御部は、前記検出部が検出する前記手指の動き又は形状と、前記ジェスチャー登録辞書又は前記ハンドサイン登録辞書とのマッチングにより前記ジェスチャー又は前記ハンドサインを選択し、選択した前記ジェスチャー又は前記ハンドサインに対応する前記候補を表示させる。
本発明によれば、使用者の手指の動き又は形状に基づいてジェスチャー又ハンドサインを特定し、特定したジェスチャー又はハンドサインに対応する候補を表示させることができる。
【００２３】
また、本発明は、他の使用者の動作に対応付けられた前記指示体を、前記使用者の動作に対応付けられた前記指示体の検出方向とは異なる方向から検出し、異なる方向から検出される前記他の使用者の動作に対応付けられた前記指示体の動き、形状及び位置の少なくともいずれかに対応する候補を表示するための外部辞書情報を記憶した記憶部を備え、前記表示制御部は、前記外部辞書情報に基づいて、前記他の使用者の動作に対応付けられた前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を特定し、特定した前記候補を表示させる。
本発明によれば、使用者の動作に対応付けられた指示体の検出方向とは異なる方向から、他の使用者の動作に対応付けられた指示体の動き、形状及び位置の少なくともいずれかを検出することができる。また、他の使用者の動作に対応付けられた指示体の動き、形状及び位置の少なくともいずれかを検出して、検出した指示体の動き、形状及び位置の少なくともいずれかに対応する候補を特定して表示することができる。従って、他の使用者の動作に対応付けられた指示体の動きや、形状、位置を検出するために、使用者の動作に対応付けられた指示体の検出方向から検出する必要がなくなる。このため、他の使用者の動作に対応付けられた指示体の動きや、形状、位置を検出するために、検出部の検出方向を変更する必要がなく、使用者の手間を軽減することができる。
【００２４】
また、本発明は、外部の頭部装着型表示装置と通信する通信部を備え、前記通信部により前記外部辞書情報を前記外部の頭部装着型表示装置に送信する。
本発明によれば、外部辞書情報を有してない外部の頭部装着型表示装置に、外部辞書情報を送信することができる。従って、外部の頭部装着型表示装置において指示体の動き、形状及び位置の少なくともいずれかを検出して、検出結果に対応する候補を表示させることができる。
【００２５】
また、本発明は、前記検出部は、前記他の使用者を光学的に検出し、前記表示制御部は、前記検出部の検出結果に基づいて、前記他の使用者の動作に対応づけられた前記指示体の動き、形状及び位置の少なくともいずれかを光学的に検出する第１検出エリアを前記表示領域に表示させ、前記第１検出エリアを除く前記表示領域に、前記使用者の動作に対応づけられた前記指示体の動き、形状及び位置の少なくともいずれかを光学的に検出する第１検出エリアを表示させる。
本発明によれば、使用者の動作に対応付けられた指示体を検出するための第１検出エリアと、他の使用者の動作に対応付けられた指示体を検出するための第２検出エリアとが表示される。このため、検出した指示体が、使用者の動きに対応した指示体であるのか、他の使用者の動きに対応した指示体であるのかを判定する必要がない。このため、指示体の認識処理にかかる時間を短縮し、指示体の動き、形状及び位置を誤認識する確率を低減することができる。
【００２６】
また、本発明は、前記表示制御部は、前記第１検出エリアにおいて、前記検出部により検出される前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を前記外部辞書情報に基づいて特定し、前記第２検出エリアにおいて、前記検出部により検出される前記指示体の動き、形状及び位置の少なくともいずれかに対応する前記候補を前記辞書情報に基づいて特定する。
本発明によれば、指示体の動き、形状及び位置を検出した検出方向に対応した辞書を用いて、指示体の動き、形状又は位置に対応した候補を特定することができる。
【００２７】
上記課題を解決するため、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、少なくとも前記表示部を透過する範囲を含む領域において、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置に搭載されたコンピューターが実行するプログラムであって、コンピューターに、前記検出部が前記指示体を検出する検出状態を示す画像を前記表示領域に表示させる手順と、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させる手順と、を実行させる。
【００２８】
上記課題を解決するため、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、少なくとも前記表示部を透過する範囲を含む領域において、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置の制御方法であって、前記検出部が前記指示体を検出する検出状態を示す画像を前記表示領域に表示させるステップと、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させるステップと、を有することを特徴とする。
【図面の簡単な説明】
【００２９】
【図１】ＨＭＤの外観図。
【図２】ＨＭＤの光学系の構成を示す要部平面図。
【図３】画像表示部の構成を示す斜視図。
【図４】ＨＭＤのブロック図。
【図５】制御装置の機能ブロック図。
【図６】制御部の動作を示すフローチャート。
【図７】ＨＭＤを装着した使用者の視界を示す図。
【図８】左右の検出範囲画像内に使用者の手指が表示された状態を示す図。
【図９】候補表示領域の表示例を示す図。
【図１０】制御部の動作を示すフローチャート。
【図１１】候補表示領域の他の表示例を示す図。
【図１２】候補表示領域の他の表示例を示す図。
【図１３】表示領域に表示されたソフトウェアキーボード及び文字入力欄を示す図。
【図１４】ＨＭＤの機能をハンドサインやジェスチャーにより操作する場合に、表示される表示画像を示す図。
【図１５】外部機器をハンドサインやジェスチャーにより操作する場合に、表示される表示画像を示す図。
【図１６】第２実施形態におけるＨＭＤの使用状態を示す図。
【図１７】表示領域に表示された第１検出範囲画像及び第２検出範囲画像を示す図。
【図１８】第２実施形態の制御部及び記憶部の構成を示す図。
【図１９】表示領域に表示される表示画面を示す図。
【発明を実施するための形態】
【００３０】
［第１実施形態］
図１は、本発明を適用したＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００の外観構成を示す外観図である。
ＨＭＤ１００は、使用者の頭部に装着され、使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。画像表示部２０を頭部に装着した者を使用者という。
【００３１】
制御装置１０は、図１に示すように平たい箱形のケース１０Ａ（筐体又は本体ともいえる）を備える。ケース１０Ａは、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８の各部を備える。ボタン１１、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８は、使用者により操作される被操作部である。また、ＬＥＤインジケーター１２は、例えばＨＭＤ１００の動作状態を示す副表示部として機能する。使用者は、被操作部を操作することにより、ＨＭＤ１００を操作できる。制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。
【００３２】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
【００３３】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００３４】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。
【００３５】
右表示ユニット２２は、右導光板２６による画像の表示を実現する。右表示ユニット２２は、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を実現する。左表示ユニット２４は、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。
【００３６】
本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。
右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。
【００３７】
画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導く。右導光板２６及び左導光板２８に導かれた画像光は使用者の右眼と左眼に入射して、使用者に虚像を視認させる。これにより、画像表示部２０は画像を表示する。
【００３８】
使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、又は、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。
【００３９】
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の構成及び配置は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように決められる。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されるが、カメラ６１を端部ＥＬ側に配置してもよく、また、右導光板２６と左導光板２８との連結部に配置してもよい。カメラ６１は、本発明の「検出部」に相当する。また、カメラ６１の撮像範囲である、使用者が画像表示部２０を装着した状態で視認する外景の範囲は、本発明の「少なくとも表示部を透過する範囲を含む領域」に相当する。カメラ６１は、指示体又は使用者を光学的に検出する。
【００４０】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。カメラ６１の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、カメラ６１の画角が、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、カメラ６１の画角は、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
カメラ６１は、制御部１５０（図５）が備える撮像制御部１４７の制御に従って撮像を実行する。カメラ６１は、撮像画像データを、後述するインターフェイス２１１を介して制御部１５０に出力する。
【００４１】
ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
【００４２】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２及び左表示ユニット２４は、左右対称に構成される。右表示ユニット２２は、使用者の右眼ＲＥに画像を視認させる構成として、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００４３】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００４４】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
【００４５】
また、左表示ユニット２４は、使用者の左眼ＬＥに画像を視認させる構成として、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００４６】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００４７】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
【００４８】
この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００４９】
なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００５０】
図１に戻り、制御装置１０及び画像表示部２０は、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６及び制御装置１０は、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及びマイク６３を有するヘッドセット３０が、コネクター４６に接続される。
制御装置１０と画像表示部２０とを無線接続してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信により、制御装置１０と画像表示部２０とが制御信号やデータを相互に送受信する構成としてもよい。
【００５１】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。マイク６３は、本発明の「音声入力部」に相当する。
【００５２】
制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。
【００５３】
ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン１１は、制御装置１０が実行するオペレーティングシステム１４３（図５参照）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。
【００５４】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド１４への接触（タッチ操作）は、タッチセンサー（図示略）により検出される。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。
【００５５】
図３は、画像表示部２０の構成を示す斜視図であり、画像表示部２０を使用者の頭部側から見た要部構成を示す。この図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。
【００５６】
カメラ６１は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。
【００５７】
一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
【００５８】
カメラ６１の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。
【００５９】
カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。
【００６０】
図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３が接続される。また、メインプロセッサー１４０には、ＧＰＳ受信部１１５、通信部１１７、ビーコン受信部１１９、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。通信部１１７は、本発明の「制御情報出力部」に相当する。
【００６１】
メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。
【００６２】
メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ  Ｍｕｌｔｉ  Ｍｅｄｉａ  Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。
【００６３】
メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１及びＬＥＤ表示部１７を含む。操作部１１０は、ボタン１１が有するボタンやスイッチ等の操作子が操作された場合に、操作された操作子に対応する操作信号をメインプロセッサー１４０に出力する。
【００６４】
ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤインジケーター１２の点灯、及び消灯を制御する。また、ＬＥＤ表示部１７は、トラックパッド１４の直下に配置されるＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む構成であってもよい。この場合、ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
【００６５】
６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
６軸センサー１１１及び磁気センサー１１３は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。また、６軸センサー１１１及び磁気センサー１１３は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。
【００６６】
ＧＰＳ受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信されるＧＰＳ信号を受信する。ＧＰＳ受信部１１５は、受信したＧＰＳ信号をメインプロセッサー１４０に出力する。また、ＧＰＳ受信部１１５は、受信したＧＰＳ信号の信号強度を計測し、メインプロセッサー１４０に出力する。信号強度には、例えば、受信信号強度（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ  Ｓｉｇｎａｌ  Ｓｔｒｅｎｇｔｈ  Ｉｎｄｉｃａｔｉｏｎ）、電界強度、磁界強度、信号雑音比（ＳＮＲ：  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  ｒａｔｉｏ）等の情報を用いることができる。
【００６７】
通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。
【００６８】
音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。コネクター４６はヘッドセット３０に接続される。音声インターフェイス１８２が出力する音声信号は右イヤホン３２、及び左イヤホン３４に入力され、これにより右イヤホン３２及び左イヤホン３４が音声を出力する。また、ヘッドセット３０が備えるマイク６３は、音声を集音して、音声信号を音声インターフェイス１８２に出力する。マイク６３から音声インターフェイス１８２に入力される音声信号は、外部コネクター１８４に入力される。
【００６９】
音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００７０】
外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
【００７１】
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備える。ＵＳＢコネクター１８８は、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。
【００７２】
センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９６を介した伝送を実行する。
【００７３】
ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。
【００７４】
画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。
【００７５】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。
【００７６】
ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００７７】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００７８】
温度センサー２１７は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。
【００７９】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。
【００８０】
左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。
【００８１】
６軸センサー２３５は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００８２】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３又はＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００８３】
右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。
【００８４】
制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、又は電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。
【００８５】
図５は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図５に示す記憶部１２２は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８及び不揮発性記憶部１２１により構成される。
【００８６】
制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。具体的には、記憶部１２２は、設定データ１２３、コンテンツデータ１２４、パターン登録辞書１２５及び音声パターン辞書１２６を記憶する。
【００８７】
設定データ１２３は、ＨＭＤ１００の動作を設定する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ  Ｔａｂｌｅ）等を用いる場合、これらを設定データ１２３に含めてもよい。
【００８８】
コンテンツデータ１２４は、制御部１５０の制御によって画像表示部２０が表示する表示画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ１２４は、音声データを含んでもよい。また、コンテンツデータ１２４は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部２０に表示される画像に限定されない。
また、コンテンツデータ１２４は、コンテンツを画像表示部２０により表示する際に、制御装置１０によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２４は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
【００８９】
パターン登録辞書１２５は、ジェスチャー登録辞書１２５１と、ハンドサイン登録辞書１２５２とを備える。
ジェスチャー登録辞書１２５１は、ジェスチャーを特定する情報と、文字や記号を示す情報（以下、文字情報という）とを対応付けて登録した辞書である。ここで、ジェスチャーとは、予め設定された手指の形状を、予め設定された順番で行う手指の動きである。ジェスチャーを特定する情報は、ジェスチャーを構成する手指の状態ごとの手指の形状や位置関係を示す情報である。例えば、ジェスチャーが、握った手を開く動作、すなわち「グー」の状態の手を開いて「パー」の状態にする動作であると仮定する。この場合、ジェスチャーを特定する情報には、「グー」の状態を特定する手指の形状や位置関係を示す情報と、「パー」の状態を特定する手指の形状や位置関係を示す情報とが含まれる。
【００９０】
また、ハンドサイン登録辞書１２５２は、ハンドサインを特定するための情報と、文字情報とを対応付けて登録した辞書である。ハンドサインは、手や指の予め設定された静的な形状や位置を示し、ハンドサインを特定するための情報は、手や指の位置や形状を示す情報である。
【００９１】
また、ジェスチャー登録辞書１２５１に、ジェスチャーを特定する情報と、特定したジェスチャーにより操作するＨＭＤ１００や外部の装置の機能とを対応付けて登録してもよい。同様に、ハンドサイン登録辞書１２５２に、ハンドサインを特定するための情報と、特定したハンドサインにより操作するＨＭＤ１００や外部の装置の機能とを対応付けて登録してもよい。
例えば、ハンドサインやジェスチャーによりＨＭＤ１００のオーディオ機能を操作する場合、ボリュームコントロールや選曲等のオーディオ機能の操作項目を、この操作項目に対応付けられたハンドサインやジェスチャーを特定する情報に対応付けて登録する。
また、ハンドサインやジェスチャーにより外部の装置を操作する場合、外部の装置を操作可能な操作項目を、この操作項目に対応付けられたハンドサインやジェスチャーを特定する情報に対応付けて登録する。例えば、外部の装置が電気メスである場合、電気メスの電源をオンやオフする操作や、電気メスに通電する電流量をアップやダウンする操作の操作項目を、この操作項目に対応付けられたハンドサインやジェスチャーを特定する情報に対応付けて登録する。
【００９２】
また、左手と右手とでそれぞれ異なる操作を行う場合、左手のハンドサインやジェスチャーと、右手のハンドサインやジェスチャーとにそれぞれ異なる操作を対応付ける。
すなわち、ジェスチャー登録辞書１２５１には、左手のジェスチャーを特定する情報と、このジェスチャーに対応付けられた操作とを対応付けて登録する。また、ジェスチャー登録辞書１２５１には、右手のジェスチャーを特定する情報と、このジェスチャーに対応付けられた操作とを対応付けて登録する。また、ハンドサイン登録辞書１２５２には、左手のハンドサインを特定するための情報と、このハンドサインに対応付けられた操作とを対応付けて登録する。また、ハンドサイン登録辞書１２５２には、右手のハンドサインを特定するための情報と、このハンドサインに対応付けられた操作とを対応付けて登録する。
【００９３】
また、記憶部１２２は、音声パターン辞書１２６を記憶する。
音声パターン辞書１２６は、予め設定された音声データを登録した辞書である。音声パターン辞書１２６には、例えば、指を鳴らす動作であるフィンガースナップの音声データや、例えば、トラックパッド１４等を叩くノック音の音声データが登録される。
【００９４】
制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、撮像制御部１４７、操作制御部１４９、検出制御部１５１及び表示制御部１５３の機能を有する。撮像制御部１４７は、本発明の「検出部」に相当する。また、検出制御部１５１は、本発明の「操作検出部」に相当する。
【００９５】
オペレーティングシステム１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。
【００９６】
画像処理部１４５は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、又は２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
【００９７】
画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０と別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ））で構成してもよい。
【００９８】
撮像制御部１４７は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４７は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶する。
【００９９】
操作制御部１４９は、トラックパッド１４及び操作部１１０における操作を検出し、検出した操作に対応するデータを出力する。操作制御部１４９は、例えば、操作部１１０のボタン等が操作された場合、操作内容を示す操作データを生成して、表示制御部１５３に出力する。表示制御部１５３は、操作制御部１４９から入力される操作データに従って画像表示部２０の表示状態を変更する。
また、操作制御部１４９は、トラックパッド１４における操作を検出した場合に、トラックパッド１４における操作位置の座標を取得する。操作制御部１４９は、操作位置の軌跡を生成する。操作位置の軌跡は、トラックパッド１４のタッチ操作が解除されない間、すなわち操作体がトラックパッド１４に接触した状態が継続する間の操作位置の軌跡である。
【０１００】
検出制御部１５１は、カメラ６１の撮像画像データから使用者の動作（動き）に対応付けられた指示体を検出する。指示体には、例えば、使用者の腕を含む手や指（以下、手や指を総称して手指と表記する）を用いることができる。また、指示体として、使用者の手指や腕に装着された部材を用いてもよい。例えば、使用者の指に装着された指輪や、使用者の腕に装着された時計やバンド等を指示体として用いることができる。これらの指示体は、使用者が身につける物であるため、使用者が手指や腕を動かせば、手指や腕の動きに応じて指示体も一体に（一緒に）動く。また、指示体として、使用者が手に持った手術道具（例えば、電気メス）等の予め設定された道具を用いることも可能である。使用者の左手は「第１指示体」に相当し、使用者の右手は「第２指示体」に相当する。
【０１０１】
検出制御部１５１は、記憶部１２２から撮像画像データを取得し、取得した撮像画像データに撮像された使用者の手や指の領域（以下、手指領域という）を検出する。また、検出制御部１５１は、検出した手指領域に写った手指の形状や位置を特定し、特定した手指の形状や位置を、パターン登録辞書１２５に登録された情報と比較して、ジェスチャーやハンドサインを検出する。
具体的には、検出制御部１５１は、取得した撮像画像データから使用者の手指が撮像された領域を検出する。検出制御部１５１は、例えば、肌色抽出処理により、撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手指領域を検出する。また、検出制御部１５１は、エッジ検出処理により、求めた手指領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手指の形状や位置を検出する。また、検出制御部１５１は、連続して撮像される撮像画像データのそれぞれから手指の形状や位置を検出し、手指の形状や位置の変化、すなわち動きを検出する。検出制御部１５１は、手指の形状や位置を検出すると、検出した手指の形状や位置を、パターン登録辞書１２５に登録された情報と比較して、ジェスチャーやハンドサインを検出する。
【０１０２】
表示制御部１５３は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成して、生成した制御信号により右表示ユニット２２及び左表示ユニット２４を制御する。具体的には、表示制御部１５１は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１５１は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。
【０１０３】
また、表示制御部１５３は、検出制御部１５１が検出する手指の動きや、形状及び位置の少なくともいずれかに対応する入力内容の候補を、後述する表示領域３１０に表示させる。表示制御部１５１は、検出制御部１５１が検出する手指の動きや、形状及び位置を、パターン登録辞書１２５に登録されたジェスチャーやハンドサインを特定するための情報と比較し、少なくとも一部が一致するジェスチャーやハンドサインを選択する。表示制御部１５３は、選択したジェスチャーやハンドサインに対応付けられた文字情報の示す文字の画像を入力内容の候補として表示させる。
【０１０４】
表示制御部１５３が表示させる入力内容の候補は、文字や記号に限定されるものではない。例えば、表示制御部１５３が表示領域３１０にソフトウェアキーボードの画像を表示させ、検出制御部１５１が撮像画像データから手指の位置を検出し、選択されたキーを検出する構成であると仮定する。この場合、表示制御部１５３は、検出制御部１５１が検出した手指の位置に表示されたキーを入力内容の候補として表示してもよい。
【０１０５】
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。
【０１０６】
図６は、制御部１５０の動作を示すフローチャートである。特に、図６は、使用者のジェスチャーやハンドサインを検出し、検出したジェスチャーやハンドサインに対応する文字や記号を入力する動作を示すフローチャートである。
制御部１５０は、まず、予め設定された操作を受け付けたか否かを判定する（ステップＳ１）。予め設定された操作には、例えば、ボタン１１や、上下キー１５、トラックパッド１４の操作が含まれる。
また、制御部１５０は、使用者の頭部の動きを画像表示部２０に搭載された６軸センサー２３５により検出し、予め設定された頭部の動きが検出された場合に、予め設定された操作を受け付けたと判定してもよい。例えば、制御部１５０は、６軸センサー２３５の検出値に基づいて、うなずきや首振りといった頭部の動きを検出した場合に、予め設定された操作を受け付けたと判定してもよい。
また、制御部１５０は、カメラ６１が撮像した撮像画像データから使用者の手指領域を検出し、予め設定されたジェスチャーやハンドサインが検出された場合に、予め設定された操作を受け付けたと判定してもよい。
また、制御部１５０は、マイク６３から入力される音声信号に基づき、予め設定された操作を受け付けたか否かを判定してもよい。制御部１５０は、マイク６３から入力される音声信号を、音声パターン辞書１２６から取得した音声パターンと比較する。制御部１５０は、音声パターン辞書１２６に登録されたフィンガースナップやノック音に一致する音声信号が入力された場合に、予め設定された操作を受け付けたと判定してもよい。
【０１０７】
制御部１５０は、予め設定された操作を受け付けていないと判定した場合（ステップＳ１／ＮＯ）、予め設定された操作を受け付けるまで待機し、他に実行可能な処理があれば、この実行可能な処理を実行する。また、制御部１５０は、予め設定された操作を受け付けたと判定した場合（ステップＳ１／ＹＥＳ）、検出範囲画像３２０を表示領域３１０に表示させ（ステップＳ２）、指示体としての使用者の手指の検出を開始する。検出範囲画像３２０及び表示領域３１０について、図７を参照しながら説明する。検出範囲画像３２０は、本発明の「検出状態を示す画像」に相当し、また「検出エリアを示す画像」に相当する。
【０１０８】
図７は、ＨＭＤ１００を装着した使用者の視界３００の一例を示す図である。
ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。このため、使用者には、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。外景とは、使用者の眼に画像表示部２０越しに見える景色である。図７には、外景として、先生が黒板を使って授業を行っている授業風景を示す。すなわち、図７は、ＨＭＤ１００を装着した生徒の視界３００を示す。
ＨＭＤ１００は、表示領域３１０に画像光Ｌに基づく画像（以下、表示画像という）を表示させる。表示領域３１０は、ＨＭＤ１００が表示画像を表示可能な範囲を示す。使用者は、表示領域３１０内では、ＨＭＤ１００の表示する表示画像及び外景を視認する。また、使用者は、表示領域３１０の外側では、外景のみを視認する。なお、図７には、説明のため表示領域３１０を示す矩形の画像を示したが、使用者が表示領域３１０を示す画像を視認することはない。
【０１０９】
図７には、表示画像として検出範囲画像３２０が表示された状態を示す。検出範囲画像３２０は、制御部１５０が使用者の手指を検出する範囲を示す画像である。制御部１５０は、カメラ６１の撮像画像データから、検出範囲画像３２０に対応する範囲のデータを抽出し、抽出した範囲のデータから手指領域を検出する。表示領域３１０に検出範囲画像３２０を表示させることで、表示領域３１０の全体から手指を検出する必要がなくなり、手指領域の検出時間を短縮することができる。検出範囲画像３２０には、使用者の左手の手指の検出範囲を示す左検出範囲画像３２１と、使用者の右手の手指の検出範囲を示す右検出範囲画像３２２とが含まれる。
【０１１０】
制御部１５０は、撮像画像データの左検出範囲画像３２１に対応する範囲から手指領域を検出した場合、検出した手指領域を使用者の左手の手指と判定する。また、制御部１５０は、撮像画像データの右検出範囲画像３２２に対応する範囲から手指領域を検出した場合、検出した手指領域を使用者の右手の手指と判定する。制御部１５０は、検出した手指領域が右手の手指領域であるのか、左手の手指領域であるのかを判定する必要がないので、手指の認識処理にかかる時間を短縮することができる。また、左手と右手を誤って認識する誤認識の発生確率を低減することができる。
【０１１１】
使用者は、表示領域３１０に検出範囲画像３２０が表示されると、入力したい文字や記号に対応したハンドサインや、ジェスチャーを手指により行う。このとき、使用者は、左右の手指が左検出範囲画像３２１及び右検出範囲画像３２２内にそれぞれ表示されるようにハンドサインやジェスチャーを行う。
使用者が行うハンドサインやジェスチャーは、左右の手指がそれぞれ１つの文字や記号を表すものであってもよいし、左手指が母音を示し、右手指が子音を示す等、両手の組み合わせで１つの文字を表すものであってもよい。
図８は、左検出範囲画像３２１の枠内に左手が収まり、右検出範囲画像３２２の枠内の右手が収まった状態を示す図である。
【０１１２】
次に、制御部１５０は、カメラ６１に撮像を実行させ、カメラ６１の生成する撮像画像データを取得する（ステップＳ３）。制御部１５０は、取得した撮像画像データから、検出範囲画像３２０に対応する領域を抽出する。制御部１５０は、キャリブレーションにより生成したパラメーターを使用して、撮像画像データの検出範囲画像３２０に対応する範囲を特定し、特定した範囲のデータを抽出する。制御装置１０は、カメラ６１の撮像画像データ上での位置と、画像表示部２０が画像を表示する表示領域３１０上での位置とを対応付けるためのキャリブレーションを、この処理フローの開始前に予め実行する。本実施形態では、次の方法によりキャリブレーションを行う。
【０１１３】
制御部１５０は、画像表示部２０にキャリブレーション用画像を表示させながら、キャリブレーション用画像に対応した参照実物体を、カメラ６１の撮像画像データから認識し、追跡する。この状態で、使用者が、トラックパッド１４等のユーザーインターフェイスを介してキャリブレーション用画像の位置を画像表示部２０上で移動させる。そして、使用者が、キャリブレーション用画像と参照実物体とが重なる（位置、大きさ、向きの少なくとも１つがほぼ一致する）ように知覚したタイミングにて、ユーザーインターフェイスを介して制御部１５０に通知する。制御部１５０は、取得した通知に応じて、当該タイミングでの参照実物体の検出結果（撮像画像データ上の位置）と、画像表示部２０上でのキャリブレーション用画像の表示位置とを対応付けるパラメーターを生成する。
【０１１４】
次に、制御部１５０は、撮像画像データから検出範囲画像３２０に対応する範囲のデータを抽出すると、この抽出したデータに対して任意の公知技術を実行し、手指領域を検出する検出処理を実行する（ステップＳ４）。例えば、制御部１５０は、肌色抽出処理により、抽出した領域した撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手指領域を求める。また、制御部１５０は、エッジ検出処理により、求めた手指領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手指を検出する。
【０１１５】
また、制御部１５０は、連続する複数の撮像画像データの差分を求め、求めた差分に基づいて動きのある領域（動領域）を特定し、特定した動領域を手指領域として抽出してもよい。また、制御部１５０は、例えば、ＢｏｏｓｔｉｎｇやＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等の顔検出に一般的に用いられているものと同様の手法を用いて手指領域を検出してもよい。
【０１１６】
次に、制御部１５０は、検出処理により手指領域が検出されたか否かを判定する（ステップＳ５）。制御部１５０は、手指領域が検出されなかった場合（ステップＳ５／ＮＯ）、ステップＳ７の処理に移行する。また、制御部１５０は、手指領域を検出した場合（ステップＳ５／ＹＥＳ）、検出された手指領域の撮像画像データ（以下、手指画像データという）を記憶部１２２に記憶させる（ステップＳ６）。
【０１１７】
制御部１５０は、予め設定された枚数の撮像画像データに対して検出処理を実行したか否かを判定する（ステップＳ７）。この予め設定された枚数の撮像画像データは、連続して撮像された撮像画像データであってもよいし、連続して撮像された撮像画像データから所定の枚数ごとに取り出した撮像画像データであってもよい。なお、カメラ６１の撮像によって得られる１フレーム画像分の撮像画像データを１枚と表記する。制御部１５０は、予め設定された枚数の撮像画像データに対して検出処理を実行していない場合（ステップＳ７／ＮＯ）、ステップＳ３に戻り、記憶部１２２から撮像画像データを新たに取得する。そして、制御部１５０は、取得した撮像画像データに対して検出処理を実行する（ステップＳ４）。
【０１１８】
また、制御部１５０は、予め設定された枚数の撮像画像データに対して検出処理を実行した場合（ステップＳ７／ＹＥＳ）、ステップＳ６において記憶部１２２に記憶させた手指画像データを取得する。そして、制御部１５０は、取得した手指画像データが複数枚ある場合、これらの手指画像データを比較して、手指の位置や形状に変化があるか否かを判定する（ステップＳ８）。例えば、制御部１５０は、検出範囲画像３２０内に手指が検出された時点をジェスチャーの開始時とし、検出範囲画像３２０から手指が外に出た時点をジェスチャーの終了時として手指に動きがあるか否かを判定する。また、制御部１５０は、手指の動きが検出された時点をジェスチャーの開始時とし、手指の動きが停止した時点をジェスチャーの終了時として手指に動きがあるか否かを判定してもよい。
【０１１９】
制御部１５０は、手指の形状や位置に変化がある、すなわち、手指に動きがあると判定した場合（ステップＳ８／ＹＥＳ）、使用者の行った操作はジェスチャーであると判定する。この場合、制御部１５０は、撮像画像データから検出した手指の状態と、ジェスチャー登録辞書１２５１とに基づいてジェスチャーを判定し、判定したジェスチャーに対応する入力候補の文字や記号（以下、これらを総称して候補文字３３５という）を選択する。
【０１２０】
制御部１５０は、ジェスチャー登録辞書１２５１に登録されたジェスチャーを特定する情報と、検出した手指の状態とをマッチングして、マッチング結果が条件を満たすジェスチャーを選択する（ステップＳ９）。例えば、制御部１５０は、検出した手指の動きに含まれる各状態の少なくとも一部が、ジェスチャー登録辞書１２５１に登録されたジェスチャーを特定する情報に一致するジェスチャーを選択する（ステップＳ９）。ここで選択するジェスチャーは、１つであってもよいし複数であってもよい。制御部１５０は、選択したジェスチャーを示す画像を候補表示領域３３０に表示させ、このジェスチャーに対応付けられた文字を候補文字３３５として候補表示領域３３０に表示させる（ステップＳ１０）。候補表示領域３３０は、制御部１５０がジェスチャー登録辞書１２５１や、ハンドサイン登録辞書１２５２に基づいて判定した候補文字３３５を表示させる領域である。候補表示領域３３０は、指示体である使用者の手指が視認される位置に対応させて表示領域３１０に表示される。候補表示領域３３０は、本発明の「検出状態を示す画像」に相当し、また本発明の「候補表示エリア」に相当する。
【０１２１】
また、制御部１５０は、手指の位置や形状に変化がない、すなわち、手指に動きがないと判定した場合（ステップＳ８／ＮＯ）、ハンドサイン登録辞書１２５２を参照して、候補文字３３５を選択する。制御部１５０は、検出した手指の形状や位置を、ハンドサインを特定するための情報と比較して、検出した手指の形状や位置に少なくとも一部が一致するハンドサインを選択する（ステップＳ１１）。ここで選択されるハンドサインは、１つであってもよいし、複数であってもよい。制御部１５０は、ハンドサインを選択すると、選択したハンドサインを示す画像と、このハンドサインに対応付けられた候補文字３３５とを候補表示領域３３０に表示させる（ステップＳ１２）。
【０１２２】
また、制御部１５０は、手指の形状が予め設定された時間以上、継続して同一の形状であると判定された場合に、検出された手指の形状や位置に基づいてハンドサインを判定して、候補を表示させてもよい。同一の手指の形状が予め設定された時間以上、継続して検出された場合にハンドサインを選択することで、使用者が意図した候補文字３３５が候補表示領域３３０に表示される確率を高めることができる。
また、制御部１５０は、手指が所定時間以上継続して静止した状態にあると判定した場合に、手指の形状や位置を検出し、検出した手指の形状や位置に基づいてハンドサイン登録辞書１２５２を参照し、ハンドサインを判定してもよい。手指が所定時間以上継続して静止した状態は、本発明の「指示体が、予め設定された条件に該当する場合」に相当する。
また、制御部１５０は、表示領域３１０に所定のシンボル等を表示させておき、手指がこのシンボルの表示位置を通過した場合、又はシンボルの表示位置に重なる場合に、ハンドサインの検出を行ってもよい。また、制御部１５０がハンドサインを検出するタイミングは、例えば、使用者の手指の位置がシンボルの表示位置に重なるときであってもよいし、シンボルの表示位置を通過した後、手指の動きが静止したタイミングであってもよい。手指がこのシンボルの表示位置を通過した場合は、本発明の「指示体の位置が、予め設定された位置に重なる場合」に相当する。
【０１２３】
図９は、候補表示領域３３０を示す図である。
候補表示領域３３０は、検出範囲画像３２０に対応する位置、又は検出範囲画像３２０内で検出された手指に対応する位置に表示される。候補表示領域３３０には、左候補表示領域３３１と、右候補表示領域３３２とが含まれる。左候補表示領域３３１及び右候補表示領域３３２は、本発明の「候補表示エリア」に相当する。左候補表示領域３３１は、左検出範囲画像３２１に対応する位置、又は左検出範囲画像３２１において検出された手指に対応する位置に表示される。また、右候補表示領域３３２は、右検出範囲画像３２２に対応する位置、又は右検出範囲画像３２２において検出された手指に対応する位置に表示される。左候補表示領域３３１には、制御部１５０が撮像画像データから検出した左手の形状や、位置、動きに基づいて判定した候補文字３３５（以下、左候補文字３３５Ａという）が表示される。右候補表示領域３３２には、制御部１５０が撮像画像データから検出した右手の形状や、位置、動きに基づいて判定した候補文字３３５（以下、右候補文字３３５Ｂという）が表示される。左候補文字３３５Ａ及び右候補文字３３５Ｂを総称する場合、候補文字３３５という。
【０１２４】
図９は、左候補表示領域３３１を左検出範囲画像３２１の周囲に表示し、右候補表示領域３３２を右検出範囲画像３２２の周囲に表示した表示例を示す。
左検出範囲画像３２１の周囲とは、左検出範囲画像３２１の近傍であって、左候補表示領域３３１と左検出範囲画像３２１とが対応付けられていると使用者が認識できる範囲のである。また、制御部１５０は、使用者により事前に設定された距離に基づいて、左候補表示領域３３１を左検出範囲画像３２１の周囲に表示してもよい。右候補表示領域３３２と右検出範囲画像３２２との距離についても同様である。
【０１２５】
左候補表示領域３３１及び右候補表示領域３３２の表示位置は、図９に示す例に限定されるものではない。例えば、左候補表示領域３３１を左検出範囲画像３２１に接するように表示し、右候補表示領域３３２を右検出範囲画像３２２に接するように表示してもよい。
また、左候補表示領域３３１の少なくとも一部が左検出範囲画像３２１に重なるように左候補表示領域３３１を表示し、右候補表示領域３３２の少なくとも一部が右検出範囲画像３２２に重なるように右候補表示領域３３２を表示してもよい。また、検出された手指に対応する位置として、例えば、使用者の手指のうち、人指し指等の予め設定された指の指先の位置に左候補表示領域３３１及び右候補表示領域３３２を表示してもよい。このように候補表示領域３３０を検出範囲画像３２０の近傍に表示することで、使用者は、視線を移動させることなく、手指の近傍に表示される候補文字３３５を選択することができる。
【０１２６】
図１０に示すフローチャートを参照して、ジェスチャーやハンドサイン検出による文字入力の動作を引き続き説明する。
次に、制御部１５０は、左候補表示領域３３１に表示した左候補文字３３５Ａを選択する動作と、右検出範囲画像３２２に表示した右候補文字３３５Ｂとを選択する動作とを検出する。制御部１５０は、カメラ６１に撮像を実行させ、カメラ６１の生成する撮像画像データを取得する（ステップＳ１３）。制御部１５０は、キャリブレーションにより生成したパラメーターを使用して、候補表示領域３３０が撮像された撮像画像データの範囲を特定し、特定した範囲の撮像画像データに対して任意の公知技術を実行し、手指領域を検出する検出処理を実行する。制御部１５０は、検出処理を実行すると、撮像画像データから手指領域を検出したか否かを判定する（ステップＳ１４）。制御部１５０は、手指領域を検出できなかった場合（ステップＳ１４／ＮＯ）、ステップＳ１３に戻り撮像画像データを取得して（ステップＳ１３）、検出処理を再度実行する。
【０１２７】
また、制御部１５０は、手指領域が検出された場合（ステップＳ１４／ＹＥＳ）、この手指領域を検出した撮像画像データの領域に基づき、選択された候補文字３３５を特定する。制御部１５０は、左候補表示領域３３１及び右候補表示領域３３２のそれぞれについて手指領域を検出する。制御部１５０は、左候補表示領域３３１に手指領域が検出されると、この手指領域を検出した撮像画像データの範囲に表示した候補文字３３５を、左候補文字３３５Ａと判定する（ステップＳ１５）。また、制御部１５０は、右候補表示領域３３２に手指領域が検出されると、この手指領域を検出した撮像画像データの範囲に表示した候補文字３３５を、右候補文字３３５Ｂと判定する（ステップＳ１５）。制御部１５０は、選択されたと判定した候補文字３３５を、選択文字として記憶部１２２に記憶させる（ステップＳ１６）。
【０１２８】
次に、制御部１５０は、カメラ６１の撮像画像データを取得して（ステップＳ１７）、検出範囲画像３２０に対応する撮像画像データの領域に対して検出処理を実行し（ステップＳ１８）、手指領域を検出する。制御部１５０は、手指領域が検出された場合（ステップＳ１９／ＹＥＳ）、図６に示すステップＳ６に戻り、手指画像データを記憶部１２２に記憶させる。その後、制御部１５０は、ステップＳ７以降の処理を繰り返す。また、制御部１５０は、手指領域が検出されなかった場合（ステップＳ１９／ＮＯ）、前回の手指領域の検出から所定時間を経過したか否かを判定する（ステップＳ２０）。前回の手指領域の検出から所定時間を経過していない場合（ステップＳ２０／ＮＯ）、制御部１５０は、ステップＳ１７に戻り、撮像画像データを取得して検出処理を実行する（ステップＳ１７）。
【０１２９】
また、制御部１５０は、前回の手指領域の検出から所定時間を経過した場合（ステップＳ２０／ＹＥＳ）、記憶部１２２から選択文字を読み出す。ここで、制御部１５０が記憶部１２２から読み出す選択文字は、１文字である場合もあれば、複数文字、すなわち文字列である場合もある。制御部１５０は、選択文字を読み出すと、読み出した選択文字に基づいて対応する処理を実行する（ステップＳ２１）。例えば、制御部１５０は、アプリケーションプログラムとしてウェブブラウザーが起動されている場合には、ウェブブラウザーの検索欄に、選択文字を入力する。また、制御部１５０は、メールアプリを起動している場合、例えば、メールの宛て先や本文に、選択文字を入力する。
【０１３０】
上述したフローチャートでは、ステップＳ１５において、手指領域が検出された候補表示領域３３０の領域に表示した候補文字３３５を、選択文字と判定した。
他の動作として、例えば、制御部１５０は、複数の候補文字３３５のそれぞれ番号を付し、この番号を候補文字３３５と共に候補表示領域３３０に表示させてもよい。使用者は、検出範囲画像３２０内で、選択する候補文字３３５に対応する番号の指文字を作る。制御部１５０は、撮像画像データに基づいて手指の形状を特定し、選択された候補文字３３５を判定する。また、使用者は、選択する候補文字３３５に付された番号に対応するジェスチャーを行って候補文字３３５を選択してもよい。
【０１３１】
また、図７には、検出範囲画像３２０として、左検出範囲画像３２１及び右検出範囲画像３２２を示したが、１つの検出範囲画像３２０を表示領域３１０に表示する構成であってもよい。この場合、制御部１５０は、撮像画像データの検出範囲画像３２０に対応する範囲から使用者の両手の手指領域を検出する。
また、図７には、左検出範囲画像３２１及び右検出範囲画像３２２として円形の画像を表示させたが、検出範囲画像３２０の形状は円形に限定されるものではない。例えば、検出範囲画像３２０は、矩形の画像であってもよいし、多角形の画像であってもよい。
また、検出範囲画像３２０のサイズは、カメラ６１が撮像する撮像画像データに写った使用者の手指のサイズよりも大きくなるように予め設定される。
【０１３２】
また、表示領域３１０に、左検出範囲画像３２１及び右検出範囲画像３２２を表示させるタイミングを、撮像画像データから使用者の手（左手、右手又は両手のいずれか）の画像が検出されたタイミングとしてもよい。制御部１５０は、カメラ６１の撮像画像データから使用者の手指（左手、右手又は両手のいずれか）が検出されると、検出した手指に対応した左検出範囲画像３２１及び右検出範囲画像３２２の少なくとも一方を表示領域３１０に表示させる。すなわち、制御部１５０は、使用者の左手が検出された場合には、検出した左手の手指が左検出範囲画像３２１の範囲内に含まれるように左検出範囲画像３２１を表示させる。同様に、制御部１５０は、使用者の右手が検出された場合には、検出した右手の手指が右検出範囲画像３２２の範囲内に含まれるように右検出範囲画像３２２を表示させる。
【０１３３】
また、制御部１５０は、検出した手指の動きを追跡し、手指の動きに対応して左検出範囲画像３２１及び右検出範囲画像３２２の表示位置や表示範囲を変更してもよい。
制御部１５０は、カメラ６１が順次撮像する撮像画像データから手指を検出し、検出した手指の位置に変化が生じると、位置に変化が生じた手指に対応する左検出範囲画像３２１又は右検出範囲画像３２２の表示表示や表示範囲を変更する。
すなわち、制御部１５０は、使用者の左手の位置に変化が生じたと判定した場合、左手の位置の変化に左検出範囲画像３２１を追従させ、左手が左検出範囲画像３２１の範囲内に含まれるように左検出範囲画像３２１の表示位置を変更する。また、制御部１５０は、左手の位置の変化に応じて左検出範囲画像３２１の表示範囲を変更してもよい。
また、制御部１５０は、使用者の右手の位置に変化が生じたと判定した場合、右手の位置の変化に右検出範囲画像３２２を追従させ、右手が右検出範囲画像３２２の範囲内に含まれるように右検出範囲画像３２２の表示位置を変更する。また、制御部１５０は、右手の位置の変化に応じて右検出範囲画像３２２の表示範囲を変更してもよい。
使用者の手指の動きに左検出範囲画像３２１及び右検出範囲画像３２２を追従させることで、使用者は、固定された位置でジェスチャーやハンドサインを行う必要がなく、より自由にジェスチャーやハンドサインを行うことができる。
【０１３４】
図１１は、候補表示領域３３０の他の表示例を示す図である。
図１１には、左検出範囲画像３２１の上下左右の４方向に対応する方向に左候補表示領域３３１をそれぞれ表示し、右検出範囲画像３２２の上下左右の４方向に対応する方向に右候補表示領域３３２をそれぞれ表示した例を示す。
使用者は、入力したい候補文字３３５が表示された候補表示領域３３０の方向に手指を移動させる。制御部１５０は、カメラ６１の撮像画像データを取得し、上下左右の候補表示領域３３０に対応する撮像画像データの各領域から、上述した方法により手指領域を検出する。制御部１５０は、手指領域が検出された場合、この手指領域を検出した候補表示領域３３０に表示した候補文字３３５が選択されたと判定する。使用者は、入力したい文字が表示された方向に手指を移動させればよいので、候補文字３３５の選択を容易に行うことができる。
図１１には、検出範囲画像３２０の上下左右の４方向に候補表示領域３３０を表示させた場合を示したが、選択される候補文字３３５の数に応じて候補表示領域３３０を表示させる方向を変更してもよい。例えば、候補文字３３５として２つの文字を選択した場合、検出範囲画像３２０の上下方向、又は左右方向に候補表示領域３３０を表示させることができる。
【０１３５】
また、制御部１５０は、候補文字３３５と、使用者が実際に選択した選択文字とを対応付けて記憶部１２２に記憶させてもよい。制御部１５０は、使用者のジェスチャーやハンドサインに基づいて判定した候補文字３３５が、記憶部１２２に記憶させた候補文字３３５の場合、この候補文字３３５に対応付けられた選択文字を表示領域３１０に表示させる。このように、候補文字３３５と、選択文字とを対応付けて記憶部１２２に記憶させることで、ジェスチャーやハンドサインの認識精度を向上させることができる。また、使用者が作る手や指の形に癖があっても、使用者の意図した文字や記号の候補を候補表示領域３３０に表示させることができる。
【０１３６】
図１２は、候補文字３３５の他の表示例を示す図である。
図１２に示す表示例は、リングを示す画像（以下、リング画像３２５という）の周方向に候補となる複数の候補文字３３５と、これら複数の候補文字３３５を示すハンドサインとを表示している。また、図１２に示す表示例は、リング画像３２５の上下左右の４方向に対応する位置に、候補文字３３５をそれぞれ表示している。
【０１３７】
使用者は、複数の候補文字３３５の中から１の候補文字３３５を選択する場合、例えば、以下に示す動作を行う。
使用者は、例えば、右手の右候補文字３３５Ｂを選択する場合、右手を左から右、又は右から左に動かすジェスチャーを行い、選択したい右候補文字３３５Ｂを選択位置に移動させる。選択位置は、予め設定された位置であって、リング画像３２５の上下左右の４方向に対応するいずれの位置であってもよい。本実施形態は、リング画像３２５の下方向に対応する位置が選択位置である場合について説明する。図１２では、右候補文字３３５Ｂとして「Ｂ」が表示された位置が選択位置に対応する。
【０１３８】
制御部１５０は、カメラ６１の撮像画像データにより右手の動きを検出し、右手が動いた方向にリング画像３２５を回転させ、リング画像３２５の回転に伴って複数の候補文字３３５も回転させる。
使用者は、候補文字３３５が、選択位置に表示されると、予め設定された確定操作を行い、候補文字３３５を確定させる。確定操作は、例えば、うなずく動作、すなわち、使用者の頭部を、使用者の視線方向である前方に倒す動作であってもよい。制御部１５０は、使用者の頭部の動きを６軸センサー２３５の検出値に基づいて検出し、確定操作が入力されたか否かを判定する。また、例えば、使用者が「確定」との音声を発声してもよい。制御部１５０は、マイク６３から入力される音声信号に基づき、使用者が「確定」との発声を行ったか否かを判定する。
【０１３９】
また、使用者は、複数の候補文字３３５の中から１の候補文字３３５を選択する場合、選択する候補文字３３５が表示された位置に指を重ねることで、候補文字３３５を選択してもよい。すなわち、使用者は、右候補文字３３５Ｂ択する場合、右手を選択する右候補文字３３５Ｂの位置に重ね、左候補文字３３５Ａを選択する場合、左手を選択する左候補文字３３５Ａの位置に重ねる。
【０１４０】
また、図６に示すフローチャートの説明では、制御部１５０は、予め設定された操作を受け付けた場合に、左検出範囲画像３２１及び右検出範囲画像３２２を表示領域３１０に表示させた。制御部１５０は、他の動作として、予め設定されたプログラムを実行する場合に、表示領域３１０に左検出範囲画像３２１及び右検出範囲画像３２２を表示させてもよい。予め設定されたプログラムは、例えば、ブラウザソフトウェアや、ワープロソフトウェア等の文字入力が必要なアプリケーションプログラム（以下、アプリという）である。
【０１４１】
図１３は、表示領域３１０に表示されたソフトウェアキーボード３５１及びテキスト入力欄３５２を示す図である。
制御部１５０は、文字入力が必要なアプリを実行する場合に、設定データ１２３に従って、ソフトウェアキーボード、又は左検出範囲画像３２１及び右検出範囲画像３２２を表示領域３１０に表示させる。また、制御部１５０は、テキスト入力欄３５２に対応する位置に使用者の指が検出された場合に、設定データ１２３に従って、ソフトウェアキーボード、又は左検出範囲画像３２１及び右検出範囲画像３２２を表示領域３１０に表示させてもよい。また、制御部１５０は、左検出範囲画像３２１及び右検出範囲画像３２２を表示領域３１０に表示させると、指示体を検出する状態に移行し、使用者の手指の検出を開始する。文字入力が必要なアプリが使用者により選択され、制御部１５０が選択されたアプリの実行を開始した状態が、本発明の「予め設定された操作を検出した場合」に相当する。また、テキスト入力欄３５２に対応する位置に使用者の指が検出された場合も、本発明の「予め設定された操作を検出した場合」に相当する。
【０１４２】
記憶部１２２の記憶する設定データ１２３には、文字入力が必要なアプリを実行する場合に、ソフトウェアキーボード３５１により文字入力を行うのか、ジェスチャーやハンドサインによる文字入力を行うかを設定した情報が含まれる。
この設定データ１２３は、例えば、操作部１１０の操作により書き替えることができる。制御部１５０は、操作部１１０で受け付けた操作に従って設定データ１２３が変更される。設定データ１２３が変更されることで、文字入力がソフトウェアキーボードからジェスチャーやハンドサインに変更され、又はジェスチャーやハンドサインからソフトウェアキーボードに変更される。
【０１４３】
また、文字入力が必要なアプリごとに、ソフトウェアキーボードにより文字入力を行うのか、ジェスチャーやハンドサインにより文字入力を行うのかを設定してもよい。すなわち、設定データ１２３を、文字入力が必要なアプリごとに生成する。制御部１５０は、アプリの実行指示が入力されると、このアプリに対応する設定データ１２３に従ってソフトウェアキーボード３５１、又は左検出範囲画像３２１及び右検出範囲画像３２２を表示領域３１０に表示させる。
【０１４４】
また、上述した実施形態は、ハンドサインやジェスチャーによる文字の入力について説明したが、ハンドサインやジェスチャーによる入力は文字だけに限定されない。例えば、ハンドサインやジェスチャーによりＨＭＤ１００の機能を操作したり、ＨＭＤ１００に接続した外部機器を操作したりすることも可能である。
【０１４５】
ＨＭＤ１００のオーディオ機能を、ハンドサインやジェスチャーにより操作する場合について説明する。
例えば、使用者の左手のハンドサインやジェスチャーを、ボリュームコントロールや、選曲等の設定項目を選択する操作に対応付ける。また、右手のハンドサインやジェスチャーを、選択された設定項目を設定する操作に対応付ける。
この場合、ジェスチャー登録辞書１２５１には、左手の情報として、左手のジェスチャーを特定する情報と、各ジェスチャーに対応付けられた設定項目（例えば、ボリュームコントロールや選曲）を示す情報とが対応付けて登録される。
また、ジェスチャー登録辞書１２５１には、右手の情報として、右手のジェスチャーを特定する情報と、このジェスチャーに対応付けられた操作項目を示す情報とが、設定項目ごとに登録される。ハンドサイン登録辞書１２５２についても同様の構成を備える。例えば、設定項目がボリュームコントロールである場合、右手の情報には、ジェスチャーを特定する情報と、このジェスチャーに対応付けられた操作項目（例えば、ボリュームアップや、ボリュームダウン、ミュート）とが含まれる。また、設定項目が選曲である場合、右手の情報として、ジェスチャーを特定する情報と、このジェスチャーに対応付けられた操作項目（例えば、再生や、一時停止、停止）とが、ボリュームコントロールの情報としてジェスチャー登録辞書１２５１に記憶される。
【０１４６】
図１４は、ハンドサイン又はジェスチャーによりＨＭＤ１００の機能を操作する場合に、表示画像３１０に表示される表示画像を示す図である。特に、図１４は、ＨＭＤ１００のオーディオ機能を操作する場合に、表示画像３１０に表示される表示画像を示す図である。
まず、制御部１５０は、カメラ６１の撮像画像データに基づいて左手のハンドサイン又はジェスチャーを検出する。制御部１５０は、左手のハンドサイン又はジェスチャーが検出されると、検出された左手のハンドサイン又はジェスチャーに対応した設定項目を左表示領域３６１に表示させる。図１４には、左表示領域３６１に設定項目としてボリュームコントロールが表示された状態を示す。左表示領域３６１に表示された設定項目は、本発明の「第１操作画像」に相当する。
【０１４７】
次に、制御部１５０は、確定操作又は取り消し操作を検出する。確定操作は、左表示領域３６１に表示された設定項目を確定させる操作である。取り消し操作は、表示領域３６１に表示された設定項目を取り消す操作である。制御部１５０は、確定操作が検出された場合、撮像画像データに基づいて右手のハンドサイン又はジェスチャーを検出する。
また、制御部１５０は、取り消し操作が検出された場合、左表示領域３６１に表示させた設定項目の表示を消去し、左手のハンドサイン又はジェスチャーを再度検出する。
また、確定操作や取り消し操作は、例えば、左手のハンドサイン又はジェスチャーによる操作であってもよいし、６軸センサー２３５により検出される頭部の動きであってもよい。
【０１４８】
また、制御部１５０は、確定操作が検出されると、撮像画像データに基づいて右手のハンドサインやジェスチャーを検出する。制御部１５０は、検出したハンドサイン又はジェスチャーに対応する操作項目を右表示領域３６２に表示させる。図１４には、右表示領域３６２に操作項目としてボリュームダウン表示された状態を示す。表示領域３６２に表示された操作項目は、本発明の「第２操作画像」に相当する。
この後、制御部１５０は、左手のハンドサイン又はジェスチャーの場合と同様に、確定操作又は取り消し操作を検出する。制御部１５０は、確定操作が検出された場合、右表示領域３６２に表示させた操作項目に対応した処理を実行する。また、制御部１５０は、取り消し操作が検出された場合、右表示領域３６２に表示させた操作項目の表示を消去し、右手のハンドサイン又はジェスチャーを再度検出する。
【０１４９】
また、制御部１５０は、左手のハンドサイン又はジェスチャーに対応する設定項目を判定すると、判定した設定項目に対応付けられた右手の操作項目のすべてを右表示領域３６２に表示させてもよい。
例えば、制御部１５０は、設定項目としてボリュームコントロールが選択されたと判定した場合、右表示領域３６２に、ボリュームアップやボリュームダウン、ミュートを表示させる。使用者は、操作したい操作項目が表示された位置に重なるように右手を動かす。制御部１５０は、撮像画像データに基づいて右手の位置を検出し、検出した位置に表示された操作項目を判定する。制御部１５０は、判定した操作項目に対応した処理を実行する。
【０１５０】
図１５は、ＨＭＤ１００に接続した外部機器を、ハンドサインやジェスチャーにより操作する場合に、表示領域３１０に表示される表示画像を示す図である。特に、図１５は、外部機器としての電気メスをハンドサインやジェスチャーにより操作する場合の表示画像を示す図である。
ＨＭＤ１００は、通信部１１７を介して電気メスに流れる電流を制御する制御装置（図示略）に接続されている。この制御装置とＨＭＤ１００との接続は、無線であってもよいし、有線ケーブルにより接続する構成であってもよい。
【０１５１】
まず、制御部１５０は、カメラ６１の撮像画像データから所定のマークを検出する。例えば、電気メス等の外部機器には、外部機器を特定するバーコードやＱＲコード（登録商標）等の所定のマークが貼付けられている。制御部１５０は、撮像画像データからこの所定のマークを検出して、使用者の手（ここでは右手と仮定して説明する）に握られた外部機器を特定する。
【０１５２】
制御部１５０は、撮像画像データ所定のマークを検出して外部機器を特定すると、特定した外部機器の設定項目を、右表示領域３６２に表示させる。
ここでは、使用者の右手のハンドサインやジェスチャーを、スイッチや、電流調整等の設定項目を選択する操作に対応付ける。
この場合、ジェスチャー登録辞書１２５１には、右手の情報として、右手のジェスチャーを特定する情報と、各ジェスチャーに対応付けられた設定項目（例えば、電源スイッチや電流調整）を示す情報とが対応付けて登録される。
また、ジェスチャー登録辞書１２５１には、左手の情報として、左手のジェスチャーを特定する情報と、このジェスチャーに対応付けられた操作項目を示す情報とが、設定項目ごとに登録される。ハンドサイン登録辞書１２５２についても同様の構成を備える。例えば、設定項目が電流調整の場合、左手の情報として、ジェスチャーを特定する情報と、このジェスチャーに対応付けられた操作項目（例えば、電流アップや電流ダウン）とが、電流調整の情報としてジェスチャー登録辞書１２５１に記憶される。
【０１５３】
制御部１５０は、所定のマークを検出して使用者の右手に握られた外部機器を特定すると、特定した外部機器の設定項目を右表示領域３６２に表示させる。
使用者は、右表示領域３６２に設定項目が表示されると、右手の操作、又は頭部の操作により、右表示領域３６２に表示された設定項目のいずれか１つを選択する。右手の操作は、選択する設定項目が表示された位置に右手を重ねる操作である。頭部の操作は、例えば、設定項目が表示された方向に頭部を向ける操作である。
【０１５４】
制御部１５０は、設定項目が選択されると、選択された設定項目に対応付けられた操作項目を左表示領域３６１に表示させる。例えば、制御部１５０は、設定項目として電流調整が選択された場合、操作項目として電流アップや、電流ダウンを左表示領域３６１に表示させる。
【０１５５】
使用者は、左表示領域３６１に操作項目が表示されると、左手の操作や、頭部の操作により操作項目を操作する。例えば、選択する操作項目が表示された位置に左手を重ねる操作であってもよいし、ジェスチャーやハンドサインであってもよい。頭部の操作は、例えば、操作項目が表示された方向に頭部を向ける操作である。
【０１５６】
制御部１５０は、操作項目が選択されると、選択された操作項目に対応した第１操作情報と、右手の操作に対応した第２操作情報との少なくとも一方を含む制御情報を、通信部１１７を介して制御装置に送信する。第１操作情報は、例えば、電流アップや電流ダウンを指示する情報や、電気メスの電源オンや電源オフを指示する情報が含まれる。
また、制御装置に送信する制御情報を、第１操作情報及び第２操作情報を含む情報としてもよい。第２操作情報には、例えば、使用者が手に持った電気メスを識別する識別情報が含まれる。
また、使用者が左利きであり、電気メスを左手に持っている場合には、第２操作情報を含む制御情報がＨＭＤ１００から制御装置に送信される。この場合の第２操作情報も流アップや電流ダウンを指示する情報や、電気メスの電源オンや電源オフを指示する情報である。
第１操作情報は、本発明の「第１情報」に相当し、第２操作情報は、本発明の「第２情報」に相当する。
【０１５７】
以上説明したように第１実施形態のＨＭＤ１００は、画像表示部２０、検出部として機能するカメラ６１及び撮像制御部１４７と、表示制御部１５３とを備える。
画像表示部２０は、外景を透過し、外景とともに視認できるように画像を表示領域３１０に表示する。カメラ６１及び撮像制御部１４７は、少なくとも画像表示部２０を透過する範囲を含む領域において、使用者の動作に対応づけられた指示体としての使用者の手指を検出する。
表示制御部１５３は、検出部が使用者の手指を検出する検出状態を示す画像を表示領域３１０に表示させ、検出部が検出する手指の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を表示させる。検出状態を示す画像は、検出範囲画像３２０や、候補表示領域３３０、この候補表示領域３３０に表示された候補文字３３５、左表示領域３６１及び右表示領域３６２等が含まれる。
第１実施形態のＨＭＤ１００は、検出部による指示体の検出状態を示す画像が表示領域に表示されるため、検出部による手指の検出状態の確認が容易になる。また、検出部が検出した手指の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示されるので、手指による入力精度を高め、使用者の使い勝手を向上させることができる。
【０１５８】
また、表示制御部１５３は、検出部の検出状態を示す画像を、外景において手指が視認される位置に対応させて表示させる。
従って、検出部の検出状態を示す画像が、手指が視認される位置に対応させて表示されるので、使用者は手指を動かして操作を入力しながら検出部の検出状態の確認ができる。
【０１５９】
また、表示制御部１５３は、検出部が検出する手指の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、検出部の検出状態を示す画像に対応する位置に表示させる。
従って、使用者は指示体を操作しながら検出部による検出状態の確認ができる。
【０１６０】
また、表示制御部１５３は、検出部の検出状態を示す画像として、検出範囲を示す検出範囲画像３２０を表示領域３１０に表示させる。また、表示制御部１５３は、検出部が検出する手指の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、表示領域３１０において検出範囲画像３２０に対応する位置に表示させる。
従って、検出部の検出状態を示す画像として、検出部が手指を検出する検出エリアを示す検出範囲画像３２０が表示されるので、手指が検出される検出エリアの確認が容易になり、操作性を高めることができる。また、検出部が検出する指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補が検出範囲画像３２０に対応する位置に表示されるので、使用者は指示体を操作しながら検出部の検出状態の確認ができる。
【０１６１】
また、表示制御部１５３は、候補文字３３５を候補表示領域３３０に表示させ、候補表示領域３３０を、検出範囲画像３２０に対応する位置、又は検出範囲画像３２０において検出された手指に対応する位置に表示させる。
従って、検出範囲画像３２０に対応する位置、又は検出範囲画像３２０において検出された手指に対応する位置に表示された候補文字３３５の中から候補を選択する操作を容易に行うことができる。
【０１６２】
また、表示制御部１５３は、検出部が候補表示領域３３０に対応する位置で手指を検出した場合に、検出された手指の動き、形状及び位置の少なくともいずれかに基づき、候補表示領域３３０に表示された複数の候補のいずれかを選択する。
従って、手指の動き、形状及び位置の少なくともいずれかにより、複数の候補文字３３５のいずれかを選択することができるので、操作を簡略化することができる。
【０１６３】
また、表示制御部１５３は、表示領域３１０に表示される候補文字３３５に対応する位置で手指が検出された場合に、検出された手指の動き、形状及び位置の少なくともいずれかに基づき、候補表示領域３３０に表示された複数候補の文字のいずれかを選択する。
従って、候補文字３３５に対応する位置に移動させた手指の動き、形状及び位置に基づいて、複数の候補の文字のいずれかを選択することができる。
【０１６４】
また、表示制御部１５３は、複数の候補を表示させ、検出部により検出された手指の移動方向が候補を表示させたいずれかの方向に対応する場合に、対応する候補を選択する。
従って、選択したい候補が表示された方向に手指を移動させることで、選択したい候補を選択することができる。
【０１６５】
また、表示制御部１５３は、検出部により検出された手指の形状が、予め設定された時間以上同一の形状である場合に、候補を表示させる。
従って、手指の形状を予め設定された時間以上同一の形状とすることで、候補を表示させることができるので、簡易な操作により候補を表示させることができる。
【０１６６】
また、表示制御部１５３は、検出部により検出された手指の位置が、予め設定された位置に重なる場合に、候補を表示させる。
従って、簡易な操作により候補を表示させることができる。
【０１６７】
また、表示制御部１５３は、検出部により検出された指示体の形状が、予め設定された条件に該当する形状である場合に、候補を表示させる。
従って、簡易な操作により候補を表示させることができる。
【０１６８】
また、表示制御部１５３は、検出エリアを示す画像として、使用者の左手を含む検出エリアを示す画像である左検出範囲画像３２１と右検出範囲画像３２２とを表示させる。
従って、検出部により検出される手指が左手であるのか、右手であるのかを判定する必要がなくなり、使用者の意図する候補が表示される確率を高めることができる。
【０１６９】
また、検出部は、使用者の左手と、右手とを指示体として検出する。表示制御部１５３は、検出部が検出する左手の操作の対象とされる操作項目が表示された左表示領域３６１と、右手の操作の対象とされる操作項目が表示された右表示領域３６２とを表示領域に表示させる。
従って、左手により左表示領域３６１に表示された操作項目に対する操作を行うことができ、右手により右表示領域３６２に表示された操作項目に対する操作を行うことができる。
【０１７０】
また、ＨＭＤ１００は、検出部としてのカメラ６１が検出する手指の動き、形状及び位置の少なくともいずれかに対応して外部機器に制御情報を送信する。
従って、手指の動き、形状及び位置の少なくともいずれかにより外部機器を操作することができる。
【０１７１】
また、ＨＭＤ１００は、検出部が検出する手指の動き、形状及び位置の少なくともいずれかに対応して外部機器に制御情報を出力する通信部１１７を備える。表示制御部１５３は、検出部が検出する左手の操作に対応する第１操作情報と、検出部が検出する右手の操作に対応する第２操作情報との少なくとも一方を含む制御情報を通信部１１７により外部装置に送信する。
従って、左手の操作と、右手の操作とにより外部機器を操作することができる。
【０１７２】
また、ＨＭＤ１００は、音声を入力する音声入力部としてマイク６３を備える。検出制御部１５１は、マイク６３が予め設定された音声を入力した場合に、手指を検出する。
従って、音声入力によりＨＭＤ１００に手指の検出を開始させることができる。
【０１７３】
また、ＨＭＤ１００は、操作を検出する検出制御部１５１を備える。
検出制御部１５１は、予め設定された操作が検出された場合に、手指を検出する状態に移行する。
従って、予め設定された操作を行うことで、手指を検出する状態に移行させることができる。
【０１７４】
また、記憶部１２２は、使用者の手指の予め設定された動きの軌跡を示すジェスチャーと、候補とを対応付けたジェスチャー登録辞書１２５１を記憶する。また、記憶部１２２は、手指の予め設定された形状を示すハンドサインと、候補とを対応付けたハンドサイン登録辞書１２５２を記憶する。
表示制御部１５３は、検出部が検出する手指の動き又は形状と、ジェスチャー登録辞書１２５１又はハンドサイン登録辞書１２５２とのマッチングによりジェスチャー又はハンドサインを選択する。表示制御部１５３は、選択したジェスチャー又はハンドサインに対応する候補を表示領域３１０に表示させる。
従って、使用者の手指の動き又は形状に基づいてジェスチャー又ハンドサインを特定し、特定したジェスチャー又はハンドサインに対応する候補を表示させることができる。
【０１７５】
［第２実施形態］
図１６は、第２実施形態におけるＨＭＤ１００の使用状況を示す図である。
図１６は、ＨＭＤ１００を装着した複数の使用者間でテキストデータによる会話を行う場面を示している。特に図１６は、使用者Ａと使用者Ｂとの２人により会話を行う場面を示している。また、以下では、使用者Ａの装着するＨＭＤ１００を「ＨＭＤ１００Ａ」と表記し、使用者Ｂの装着するＨＭＤ１００を「ＨＭＤ１００Ｂ」と表記する。また、「ＨＭＤ１００Ａ」を構成する機能部（図４参照）には「Ａ」の符号を付し、「ＨＭＤ１００Ｂ」を構成する機能部（図４参照）には「Ｂ」の符号を付して説明する。
【０１７６】
使用者Ａと使用者Ｂとは互いに向き合った状態で会話を行う。
使用者Ａと使用者Ｂとが互いに向き合った状態では、ＨＭＤ１００Ａのカメラ６１Ａには、使用者Ａが行うジェスチャーやハンドサインの他に、使用者Ｂが行うジェスチャーやハンドサインも撮像される。同様に、ＨＭＤ１００Ｂのカメラ６１Ｂには、使用者Ｂが行うジェスチャーやハンドサインの他に、使用者Ａが行うジェスチャーやハンドサインも撮像される。
カメラ６１Ａに撮像された使用者Ａのハンドサインやジェスチャーの方向を正面と仮定する。使用者Ａと使用者Ｂは向かい合っているため、撮像画像データには、使用者Ｂのハンドサインやジェスチャーを、正面とは異なる方向（反対方向）である裏面側から撮像した画像が撮像される。
【０１７７】
ＨＭＤ１００Ａの制御部１５０Ａは、カメラ６１Ａの撮像画像データから、使用者Ａのハンドサインやジェスチャーと、使用者Ｂのハンドサインやジェスチャーとをそれぞれに検出する。また、ＨＭＤ１００Ｂの制御部１５０Ｂは、カメラ６１Ｂの撮像画像データから、使用者Ａのハンドサインやジェスチャーと、使用者Ｂのハンドサインやジェスチャーとをそれぞれに検出する。
【０１７８】
使用者Ａと使用者Ｂは、使用者Ａの手指と使用者Ｂの手指とがカメラ６１Ａ及び６１Ｂに重なって撮像されないようにハンドサインやジェスチャーを行う。例えば、使用者Ａと使用者Ｂとが同時にハンドサインやジェスチャーを行わないようにしてもよい。また、使用者Ａは、使用者Ａから見て左側でハンドサインやジェスチャーを行い、使用者Ｂは、使用者Ｂから見て左側でハンドサインやジェスチャーを行うように取り決めしてもよい。
【０１７９】
図１７は、表示領域３１０に表示された第１検出範囲画像３２６及び第２検出範囲画像３２７を示す図である。
また、使用者Ａは、カメラ６１Ａの画角内に使用者Ｂが収まるように頭部の向きを調整し、操作部１１０を操作してカメラ６１Ａに使用者Ｂを撮像させる。このとき、使用者Ａは、使用者Ｂが撮像画像データの中心から外れ、撮像画像データの右側又は左側で撮像されるように頭部の向きを調整する。
ＨＭＤ１００Ａの制御部１５０Ａは、カメラ６１Ａの撮像画像データから人物が撮像された人物領域を特定し、特定した人物領域を含む範囲を、会話相手である使用者Ｂが行うハンドサインやジェスチャーの検出範囲に設定する。制御部１５０Ａは、設定した検出範囲を示す画像（以下、第１検出範囲画像３２６という）を表示領域３１０に表示させる。また、制御部１５０Ａは、第１検出範囲画像３２６以外の領域に、使用者Ａのハンドサインやジェスチャーを検出する検出範囲を設定する。制御部１５０Ａは、設定した検出範囲を示す画像（以下、第１２出範囲画像という）３２７を表示領域３１０に表示させる。第１検出範囲画像３２６は、本発明の第１検出エリアに相当し、第２検出範囲画像３２７は、本発明の第２検出エリアに相当する。
【０１８０】
図１８は、第２実施形態の制御部１５０及び記憶部１２２の構成を示す図である。
ＨＭＤ１００Ａの記憶部１２２Ａは、パターン登録辞書１２５Ａとして、ジェスチャー登録辞書１２５１Ａ及びハンドサイン登録辞書１２５２Ａの他に、外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａを記憶する。外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａは、本発明の「外部辞書情報」に相当する。
外部ジェスチャー登録辞書１２５３Ａは、向かい合った使用者（使用者Ｂ）が行うジェスチャーを特定する情報と、このジェスチャーに対応付けられた候補文字３３５とを対応付けて登録した辞書である。外部ハンドサイン登録辞書１２５４Ａは、使用者（使用者Ｂ）が行うハンドサインを特定する情報と、このハンドサインに対応付けられた候補文字３３５とを対応付けて登録した辞書である。すなわち、ジェスチャー登録辞書１２５１Ａ及びハンドサイン登録辞書１２５２Ａは、正面側から撮像されたハンドサインやジェスチャーを特定するための辞書である。また、外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａは、正面とは反対方向である裏面側から撮像されたハンドサインやジェスチャーを特定するための辞書である。
【０１８１】
制御部１５０Ａは、使用者Ｂが行ったジェスチャーやハンドサインをカメラ６１Ａにより撮像する。制御部１５０Ａは、カメラ６１Ａの撮像画像データから使用者Ｂの手指が撮像された手指領域を検出して、検出した手指領域に撮像された手指の形状や位置を特定する。制御部１５０Ａは、特定した使用者Ｂの手指の形状や位置に基づき外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａを参照して、使用者Ｂが行ったハンドサインやジェスチャーを特定する。
【０１８２】
ＨＭＤ１００Ｂの記憶部１２２Ｂも、パターン登録辞書１２５Ｂとして、ジェスチャー登録辞書１２５１Ｂ及びハンドサイン登録辞書１２５２Ｂの他に、外部ジェスチャー登録辞書１２５３Ｂ及び外部ハンドサイン登録辞書１２５４Ｂを記憶する。
外部ジェスチャー登録辞書１２５３Ｂは、使用者Ｂと向かい合った使用者Ａが行うジェスチャーを特定する情報と、このジェスチャーに対応付けられた候補文字３３５とを対応付けて登録した辞書である。また、外部ハンドサイン登録辞書１２５４Ｂは、使用者Ｂと向かい合った使用者Ａが行うハンドサインを特定する情報と、このハンドサインに対応付けられた候補文字３３５とを対応付けて登録した辞書である。
【０１８３】
また、使用者同士が会話を開始する前に、ＨＭＤ１００同士で通信を行い、外部ジェスチャー登録辞書１２５３及び外部ハンドサイン登録辞書１２５４が、通信相手のＨＭＤ１００の記憶部１２２に記憶されているか否かを確認する処理を行ってもよい。
例えば、ＨＭＤ１００Ａは、外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａを記憶しており、ＨＭＤ１００Ｂは外部ジェスチャー登録辞書１２５３Ｂ及び外部ハンドサイン登録辞書１２５４Ｂを記憶していないと仮定する。この場合、ＨＭＤ１００Ａは、会話を開始する前に、ＨＭＤ１００Ｂと通信を行って、外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４ＡをＨＭＤ１００Ｂに送信する。ＨＭＤ１００Ｂは、ＨＭＤ１００Ａから受信した外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａを記憶部１２２Ｂに記憶させる。また、ＨＭＤ１００Ｂは、ＨＭＤ１００Ａから受信した辞書を用いて使用者Ａのジェスチャーやハンドサインを判定する。
【０１８４】
以上説明したように、第２実施形態のＨＭＤ１００Ａは、外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａを記憶した記憶部１２２Ａを備える。
外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａは、異なる方向から検出される使用者Ｂの手指の動き、形状及び位置の少なくともいずれかであるジェスチャーやハンドサインを特定するための辞書である。
ＨＭＤ１００Ａのカメラ６１Ａにより撮像される撮像画像データには、使用者Ａの手指とは異なる方向から撮像された使用者Ｂの手指が撮像される。制御部１５０Ａは、外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４Ａに基づいて、使用者Ａの手指とは異なる方向から撮像された使用者Ｂの手指によるハンドサインやジェスチャーを特定する。また、制御部１５０Ａは、特定したハンドサインやジェスチャーに対応する候補文字３３５を表示領域３１０に表示させる。
従って、使用者Ａと使用者Ｂとが同一の方向からハンドサインやジェスチャーを行う必要がなくなり、ハンドサインやジェスチャーを行う際の手間を軽減することができる。
【０１８５】
また、ＨＭＤ１００Ａは、外部の頭部装着型表示装置であるＨＭＤ１００Ｂと通信する通信部１１７を備える。ＨＭＤ１００Ａは、通信部１１７により外部ジェスチャー登録辞書１２５３Ａ及び外部ハンドサイン登録辞書１２５４ＡをＨＭＤ１００Ｂに送信する。従って、ＨＭＤ１００Ｂにおいて手指の動き、形状及び位置の少なくともいずれかを検出して、検出結果に対応する候補を表示させることができる。
【０１８６】
また、カメラ６１の撮像画像データに撮像された使用者Ｂを検出し、制御部１５０Ａは、検出結果に基づいて、使用者Ａの行うジェスチャーやハンドサインを検出する第１検出範囲画像３２６と、使用者Ｂの行うジェスチャーやハンドサインを検出する第２検出範囲画像３２７とを表示させる。従って、制御部１５０Ａは、検出した手指が、使用者Ａの手指であるのか、使用者Ｂの手指であるのかを判定する必要がない。このため、手指の認識処理にかかる時間を短縮し、手指によるハンドサインやジェスチャーを誤認識する確率を低減することができる。
【０１８７】
また、第１検出範囲画像３２６において、撮像画像データに撮像されるハンドサインやジェスチャーに対応する候補をジェスチャー登録辞書１２５１Ａ及びハンドサイン登録辞書１２５２Ａを用いて特定する。また、第２検出範囲画像３２７において、撮像画像データに撮像されるハンドサインやジェスチャーに対応する候補を外部ジェスチャー登録辞書１２５３Ａ及びハンドサイン登録辞書１２５４Ａを用いて特定する。従って、ハンドサインやジェスチャーが撮像された撮像方向に対応した辞書を用いて、ハンドサインやジェスチャーを特定することができ、ハンドサインやジェスチャーを精度よく特定することができる。
【０１８８】
［第３実施形態］
本実施形態も、上述した第２実施形態のように、ＨＭＤ１００を複数の使用者に装着させ、使用者間でテキストによる会話を行う場面を想定している。本実施形態は、使用者Ａが行うハンドサインやジェスチャーをＨＭＤ１００Ａにより検出し、使用者Ｂが行うハンドサインやジェスチャーをＨＭＤ１００Ｂにより検出する。
ＨＭＤ１００Ａの制御部１５０Ａは、カメラ６１Ａにより使用者Ａの行うハンドサインやジェスチャーを撮像し、撮像された撮像画像データから入力されたハンドサインやジェスチャーに対応するテキストを特定する。同様に、ＨＭＤ１００Ｂの制御部１５０Ｂは、カメラ６１Ｂにより使用者Ａの行うハンドサインやジェスチャーを撮像し、撮像された撮像画像データから入力されたハンドサインやジェスチャーに対応するテキストを特定する。本実施形態では、使用者Ａと使用者Ｂは互いに向かい合っている必要はない。
【０１８９】
また、使用者Ａの装着するＨＭＤ１００Ａの通信部１１７Ａと、使用者Ｂの装着するＨＭＤ１００Ｂの通信部１１７Ｂとは、例えば、Ｂｌｕｅｔｏｏｔｈや、無線ＬＡＮ等の無線通信により接続される。制御部１５０Ａは、使用者Ａが行ったハンドサインやジェスチャーを検出し、検出したハンドサインやジェスチャーに対応するテキストを特定すると、特定したテキストのデータ（テキストデータ）を通信部１１７ＡによりＨＭＤ１００Ｂに送信する。ＨＭＤ１００Ｂは、ＨＭＤ１００Ａからテキストデータを受信すると、受信したテキストデータを、表示領域３１０Ｂに表示させる。
同様に、制御部１５０Ｂは、使用者Ｂが行ったハンドサインやジェスチャーを検出し、検出したハンドサインやジェスチャーに対応するテキストを特定すると、特定したテキストのデータ（テキストデータ）を通信部１１７ＢによりＨＭＤ１００Ａに送信する。ＨＭＤ１００Ａは、ＨＭＤ１００Ｂからテキストデータを受信すると、受信したテキストデータを、表示領域３１０Ａに表示させる。
【０１９０】
図１９は、ＨＭＤ１００Ｂの表示領域３１０Ｂに表示される表示画面３６０Ｂを示す図である。特に、図１９は、使用者Ａ及び使用者Ｂにより行われた会話の内容を時系列に並べて表示した表示画面３６０Ｂを示す図である。例えば、表示画面３６０Ｂの左側には、使用者Ａの発話内容を示すテキストが時系列に上から下に並べて表示され、表示画面３６０Ｂの右側には、使用者Ｂの発話内容を示すテキストが時系列に上から下に並べて表示される。
なお、ＨＭＤ１００Ａの表示領域３１０Ａにも同様の表示画面３６０Ａが表示される。
【０１９１】
使用者が入力する情報には、他の使用者に公開してもよい情報と、メモ等の他の使用者には公開したくない情報とが含まれる。
制御部１５０Ａは、使用者Ａの体（胴体）と手との距離に基づいて、入力されたテキストを、他の使用者の公開する情報とするか、非公開の情報とするかを判定する。
例えば、制御部１５０Ａは、カメラ６１Ａの撮像画像データに撮像された手や指の大きさと、予め設定されたしきい値とを比較して、入力された文字を公開するか非公開とするかを判定する。制御部１５０Ａは、撮像された手や指の大きさが予め設定されたしきい値以下である場合、使用者Ａの体（胴体）から離れた位置でハンドサインやジェスチャーが行われたと判定する。この場合、制御部１５０Ａは、入力されたテキストのテキストデータを会話相手のＨＭＤ１００Ｂに送信する。ＨＭＤ１００Ｂの制御部１５０Ｂは、ＨＭＤ１００Ａから受信したテキストデータを画像表示部２０Ｂにより表示領域３１０Ｂに表示させる。
【０１９２】
また、制御部１５０Ａは、撮像された手や指の大きさが予め設定されたしきい値よりも大きい場合、使用者Ａの体（胴体）に近い位置でハンドサインやジェスチャーが行われたと判定する。この場合、制御部１５０Ａは、入力されたテキストのテキストデータを会話相手のＨＭＤ１００Ｂには送信せず、使用者Ａだけが視認できるように表示領域３１０Ａに表示させる。
【０１９３】
カメラ６１の撮像画像データに撮像された手や指の大きさとの比較に使用するしきい値は、事前に行うキャリブレーションにより設定してもよい。例えば、制御部１５０Ａは、「公開するテキストを入力する場合のハンドサインやジェスチャーを行って下さい」といったメッセージを画像表示部２０Ａにより表示領域３１０Ａに表示させる。その後、制御部１５０Ａは、カメラ６１Ａにより撮像を行い、撮像された撮像画像データから手指領域を検出して、予め設定された手や指（例えば、親指）のサイズを検出する。また、制御部１５０Ａは、「公開しないテキストを入力する場合のハンドサインやジェスチャーを行って下さい」といったメッセージを画像表示部２０Ａにより表示領域３１０Ａに表示させる。その後、制御部１５０Ａは、カメラ６１Ａにより撮像を行い、撮像された撮像画像データから手指領域を検出して、予め設定された手や指（例えば、親指）のサイズを検出する。制御部１５０Ａは、テキストを公開する場合に、カメラ６１により撮像される手や指のサイズと、テキストを公開しない場合に、カメラ６１により撮像される手や指のサイズとに基づき、しきい値を最適な値に設定する。
【０１９４】
上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態は、カメラ６１の撮像画像データを用いて使用者の手指を検出したが、使用者の手指の検出方法はこの方法に限定されるものではない。例えば、ＨＭＤ１００に赤外線を撮像するカメラを搭載し、使用者の手に付けたデバイスから出力される赤外線をこのカメラにより撮像して、使用者の手指の動きや、形状、位置等を検出してもよい。
また、使用者の指にセンサーを付けて、このセンサーにより使用者の手指の動きや、形状、位置等を検出し、センサーにより検出される手指の動きや、形状、位置等を近距離無線通信によりＨＭＤ１００に送信してもよい。
また、ジャイロセンサーや加速度センサー等の慣性センサーを使用者の手指に装着し、慣性センサーにより動きとして計測される情報から逆算して、手指の動きや形状、位置等を求めてもよい。
【０１９５】
また、上述した実施形態では、カメラ６１の撮像画像データに写った使用者の手や指を検出したが、使用者の腕を含む手指を検出してもよい。例えば、使用者は、手旗信号によってＨＭＤ１００に入力する文字や記号を表現する。ＨＭＤ１００の制御部１５０は、カメラ６１の撮像画像データから腕を含む手指が写った領域を検出し、検出した領域に写った腕の位置を特定する。また、制御部１５０は、連続して撮像される撮像画像データから腕を含む手指が写った領域を検出して、この領域に写った腕の位置を特定することで、腕の動きを検出して、対応する手旗信号を特定し、候補文字３３５を候補表示領域３３０に表示させる。
【０１９６】
また、上述した説明では、ボタン１１や、上下キー１５、トラックパッド１４の操作や、予め設定された頭部の動き、予め設定された音声の入力をトリガーとして、ＨＭＤ１００がジェスチャーやハンドサインの検出を開始する場合について説明した。これら以外のトリガーとして、ＨＭＤ１００が使用者の頭部に装着された場合に、ＨＭＤ１００がジェスチャーやハンドサインの検出を開始するようにしてもよい。
例えば、ＨＭＤ１００の画像表示部２０に装着検出部（図示略）を設ける。装着検出部は、例えば、画像表示部２０に設けられた６軸センサー２３５や磁気センサー２３７の検出値に基づいて、ＨＭＤ１００が使用者の頭部に装着されたことを検出してもよい。また、ＨＭＤ１００の画像表示部２０にハードスイッチを設け、ＨＭＤ１００が使用者の頭部に装着され、ハードスイッチの状態が切り替わったことを装着検出部が検出して、ＨＭＤ１００が使用者の頭部に装着されたことを検出してもよい。
【０１９７】
また、上述した実施形態では、カメラ６１の撮像画像データから手指領域を検出して候補表示領域３３０の領域を特定した。これ以外の動作として、制御部１５０は、手指領域を検出して、対応する候補表示領域３３０の領域を特定した後に、特定した領域に表示させた候補文字３３５を点滅させる。そして、制御部１５０は、使用者の頭部の動き、例えば、うなずき動作を検出した場合に、この候補文字３３５が選択されたと判定してもよい。また、使用者が首を左右に振る動きが検出された場合には、再度、カメラ６１の撮像画像データを取得して手指領域を検出するとよい。
【０１９８】
また、上述した実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
【０１９９】
また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。すなわち、制御装置１０は、箱形のケース１０Ａを備える構成に限定されない。例えば、制御装置１０に代えて、使用者の身体、着衣又は、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
【０２００】
さらに、上記の実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
【０２０１】
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【０２０２】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。
【０２０３】
また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０２０４】
また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。
【０２０５】
また、図６及び図１０に示すフローチャートの処理単位は、ＨＭＤ１００の制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【０２０６】
また、制御部１５０Ａは、表示領域３１０に検出範囲画像３２０を表示させる場合に、表示画像が邪魔をして、使用者が行うジェスチャーやハンドサインが見にくくならないように、表示画像の透過率や表示位置を調整するとよい。表示画像には、例えば、検出範囲画像３２０や、左表示領域３６１及び右表示領域３６２に表示される設定項目、リング画像３２５、候補表示領域３３０、ソフトウェアキーボード３５１、テキスト入力欄３５２等が含まれる。
【符号の説明】
【０２０７】
１…システム、１０…制御装置、１０Ａ…ケース、１１…ボタン、１２、６７…ＬＥＤインジケーター、１４…トラックパッド、１５…上下キー、１６…切替スイッチ、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部（表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ（検出部）、６３…マイク（音声入力部）、６５…照度センサー、１００…ＨＭＤ（表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部（制御情報出力部）、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…コンテンツデータ、１２５…パターン登録辞書、１２５１、１２５１Ａ、１２５１Ｂ…ジェスチャー登録辞書、１２５２、１２５２Ａ、１２５２Ｂ…ハンドサイン登録辞書、１２５３、１２５３Ａ、１２５３Ｂ…外部ジェスチャー登録辞書、１２５４、１２５４Ａ、１２５４Ｂ…外部ハンドサイン登録辞書、１２６…音声パター辞書、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…オペレーティングシステム、１４５…画像処理部、１４７…撮像制御部（検出部）、１４９…操作制御部、１５１…検出制御部（操作検出部）、１５３…表示制御部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２００…ビーコン装置、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１、２８１…ハーフミラー、３００…視界、３１０…表示領域、３２０…検出範囲画像、３２１…左検出範囲画像、３２２…右検出範囲画像、３２５…リング画像、３２６…第１検出範囲画像（第１検出エリア）、３２７…第２検出範囲画像（第２検出エリア）、３３０…候補表示領域、３３１…左候補表示領域、３３２…右候補表示領域、３３５…候補文字、３３５Ａ…左候補文字、３３５Ｂ…右候補文字、３５１…ソフトウェアキーボード、３５２…テキスト入力欄、３６１…左表示領域、３６２…右表示領域。
【図１】
2018206080.tif 000003
【図２】
2018206080.tif 000004
【図３】
2018206080.tif 000005
【図４】
2018206080.tif 000006
【図５】
2018206080.tif 000007
【図６】
2018206080.tif 000008
【図７】
2018206080.tif 000009
【図８】
2018206080.tif 000010
【図９】
2018206080.tif 000011
【図１０】
2018206080.tif 000012
【図１１】
2018206080.tif 000013
【図１２】
2018206080.tif 000014
【図１３】
2018206080.tif 000015
【図１４】
2018206080.tif 000016
【図１５】
2018206080.tif 000017
【図１６】
2018206080.tif 000018
【図１７】
2018206080.tif 000019
【図１８】
2018206080.tif 000020
【図１９】
2018206080.tif 000021