(57)【要約】【課題】ウェアラブル機器に適した使用者の足で操作可能な足入力装置を提供する。【解決手段】使用者の足に装着され、外部機器で利用される操作信号を出力する足入力装置は、使用者の足裏の状態を検出し、検出した足裏の状態に応じた操作信号を出力する操作部を備える。操作部は、前記足裏の状態として使用者の足裏から受ける荷重を検出し、検出した荷重に応じた操作信号を出力する。【選択図】図１
2018101234.tif 000002
【特許請求の範囲】
【請求項１】
使用者の足に装着され、外部機器で利用される操作信号を出力する足入力装置であって、
前記使用者の足裏の状態を検出し、検出した足裏の状態に応じた操作信号を出力する操作部を備える、足入力装置。
【請求項２】
請求項１に記載の足入力装置であって、
前記操作部は、前記足裏の状態として前記使用者の足裏から受ける荷重を検出し、検出した荷重に応じた操作信号を出力する、足入力装置。
【請求項３】
請求項２に記載の足入力装置であって、
前記操作部は、前記足裏の予め定めた検出範囲における荷重の分布を検出し、検出した荷重の分布の変化に応じた操作信号を出力する、足入力装置。
【請求項４】
請求項２に記載の足入力装置であって、
前記使用者の右足の足裏から受ける右荷重を検出する右足荷重検出部と、前記使用者の左足の足裏から受ける左荷重を検出する左足荷重検出部と、を有し、
前記操作部は、前記右荷重の変化と前記左荷重の変化とに応じた操作信号を出力する、足入力装置。
【請求項５】
請求項４に記載の足入力装置であって、
前記右足荷重検出部は前記右荷重の分布を検出し、
前記左足荷重検出部は前記左荷重の分布を検出し、
前記操作部は、前記右荷重の分布と前記左荷重の分布とに応じた操作信号を出力する、足入力装置。
【請求項６】
請求項４または請求項５に記載の足入力装置であって、
前記右足荷重検出部及び前記左足荷重検出部は、前記右足の位置の変化及び前記左足の位置の変化を検出する機能を有し、
前記操作部は、前記右足と前記左足との位置の変化に応じた操作信号を出力する、足入力装置。
【請求項７】
請求項２から請求項５までのいずれか一項に記載の足入力装置であって、
前記操作信号は、前記外部機器の画像表示部に表示される画像中におけるポインターの位置を変化させる信号である、足入力装置。
【請求項８】
請求項４から請求項６までのいずれか一項に記載の足入力装置であって、
前記操作信号は、前記外部機器の画像表示部に表示される表示画像を設定する信号である、足入力装置。
【請求項９】
請求項１に記載の足入力装置であって、
前記操作部は、
前記使用者の左足と右足の一方の第１足に装着され、前記足裏の状態として、前記第１足の足裏から受ける荷重の分布を検出し、検出した荷重の分布の変化に応じて、第１操作信号及び第２操作信号の２種類の操作信号を出力する２種操作部と、
前記使用者の左足と右足の他方の第２足に装着され、前記足裏の状態として、前記第２足の足裏の傾きを検出し、前記傾きの変化に応じて前記２種類の操作信号とは異なる第３操作信号を出力する１種操作部と、
を有する、足入力装置。
【請求項１０】
請求項９に記載の足入力装置であって、
前記第１操作信号と前記第２操作信号と前記第３操作信号とは、前記外部機器で利用される３種類の操作に対応する３種類の操作信号である、足入力装置。
【請求項１１】
請求項１０に記載の足入力装置であって、
前記第１操作信号及び前記第２操作信号は、前記外部機器の画像表示部に表示される３次元画像の平面内方向に対応する信号であり、前記第３操作信号は、前記３次元画像の奥行き方向に対応する信号である、足入力装置。
【請求項１２】
請求項１０または請求項１１に記載の足入力装置であって、
前記３種類の操作信号は、前記外部機器の画像表示部に表示される画像中におけるポインターの位置を変化させる信号である、足入力装置。
【請求項１３】
請求項１０に記載の足入力装置であって、
前記外部機器または前記外部機器に接続される他の外部機器は、３次元の方向に動作可能な動作機器を含み、
前記３種類の操作信号は、前記動作機器を３次元の方向に動作させる操作信号として利用される信号である、足入力装置。
【請求項１４】
頭部装着型表示装置であって、
使用者の頭部に装着される画像表示部と、
請求項１から請求項１３までのいずれか一項に記載の足入力装置と、
前記画像表示部に表示させる表示画像を設定する表示設定部と、
を備え、
前記表示設定部は、前記足入力装置から出力される操作信号に応じて、前記画像表示部に表示させる表示画像を設定する、頭部装着型表示装置。
【請求項１５】
請求項１４に記載の頭部装着型表示装置であって、
通信可能に接続される外部機器または前記外部機器を介して接続される他の外部機器を操作する場合に、前記足入力装置から出力される操作信号を、前記外部機器または前記他の外部機器で利用される操作信号として送出する、頭部装着型表示装置。
【請求項１６】
請求項１４に記載の頭部装着型表示装置であって、
前記表示設定部は、あらかじめ定めた前記使用者の動作に対応して、前記表示画像に重ねて入力枠を設定するとともに、前記入力枠の下枠周辺にメニューを設定し、
前記足入力装置は、前記使用者が所望するメニューを選択するための操作信号を出力し、
前記表示設定部は、前記足入力装置から出力された操作信号に従って、選択されたメニューが選択された状態を示す選択画像を設定する、頭部装着型表示装置。
【請求項１７】
頭部装着型表示装置であって、
使用者の頭部に装着される画像表示部と、
前記使用者の足の裏の荷重を検出する荷重検出型足入力部と、
前記荷重検出型足入力部が検出した荷重に応じて、前記画像表示部に表示させる表示画像を設定する表示設定部と、を備える、頭部装着型表示装置。
【請求項１８】
請求項１７に記載の頭部装着型表示装置であって、さらに、
使用者の活動状態を特定する状態特定部を備え、
前記表示設定部は、前記活動状態として使用者が移動している移動状態でないと特定された場合に、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定し、前記活動状態として使用者が移動している移動状態であると特定された場合に、既に設定された前記表示画像の設定を継続する、頭部装着型表示装置。
【請求項１９】
請求項１７または請求項１８に記載の頭部装着型表示装置であって、
前記荷重検出型足入力部は、所定の範囲の荷重の分布を検出し、
前記表示設定部は、予め設定されたポインター画像を前記画像表示部に表示させ、前記荷重検出型足入力部が検出した荷重の分布の変化に応じて、前記画像表示部における前記ポインター画像の表示位置を変化させる、頭部装着型表示装置。
【請求項２０】
請求項１７から請求項１９までのいずれか一項に記載の頭部装着型表示装置であって、
前記荷重検出型足入力部は、右足の荷重を検出する右荷重検出型足入力部と、左足の荷重を検出する左荷重検出型足入力部と、を有し、
前記表示設定部は、前記右荷重検出型足入力部が検出した荷重の変化と、前記左荷重検出型足入力部が検出した荷重の変化と、に応じて、前記表示画像を設定する、頭部装着型表示装置。
【請求項２１】
請求項２０に記載の頭部装着型表示装置であって、
前記荷重検出型足入力部は、前記右荷重検出型足入力部と前記左荷重検出型足入力部との位置の変化を特定し、
前記表示設定部は、前記位置の変化に応じて、前記表示画像の少なくとも一部分の拡大または縮小を実行する、頭部装着型表示装置。
【請求項２２】
請求項２０または請求項２１に記載の頭部装着型表示装置であって、
前記表示設定部は、
予め設定されたポインター画像を前記画像表示部に表示させ、
前記右荷重検出型足入力部が検出した右荷重の分布と、前記左荷重検出型足入力部が検出した左荷重の分布と、に応じて前記ポインター画像の位置を変化させ、前記右荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量と前記左荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量とを異ならせる、頭部装着型表示装置。
【請求項２３】
請求項１７から請求項２２までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記荷重検出型足入力部と前記画像表示部とは別体に形成される慣性センサーを備え、
前記表示設定部は、前記慣性センサーが取得した慣性データと、前記荷重検出型足入力部が検出した荷重と、に応じて、前記表示画像を設定する、頭部装着型表示装置。
【請求項２４】
請求項１７から請求項２３までのいずれか一項に記載の頭部装着型表示装置であって、
前記表示設定部は、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定できる場合に、前記荷重検出型足入力部の位置を表す画像を前記画像表示部に表示させる、頭部装着型表示装置。
【請求項２５】
請求項２４に記載の頭部装着型表示装置であって、
前記荷重検出型足入力部は、使用者の足の裏に対応する面形状を有し、前記面形状の少なくとも一部に荷重を検出可能なセンサーが配置され、
前記表示設定部は、前記荷重検出型足入力部の位置を表す画像として、前記面形状に対する前記センサーの位置を表す画像を前記画像表示部に表示させる、頭部装着型表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、足入力装置及び頭部装着型表示装置の技術に関する。
【背景技術】
【０００２】
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者に視認させる。ＨＭＤは、いわゆる使用者の体に装着されるウェアラブル機器である。
【０００３】
特許文献１には、画面に表示されたカーソルを足による操作で動かせるポインティングデバイスが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−１７９８７９号公報
【特許文献２】特開２００１−６７１７９号公報
【特許文献３】特開２０１３−７２７２９号公報
【特許文献４】特開２０１６−１２２号公報
【特許文献５】特開２０１４−３２６７１３号公報
【特許文献６】特開平１０−５５２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載された技術では、表示画像としてのカーソルの位置を足の操作によって変更できるものの、操作を受け付けるポインティングデバイスを設置する空間が必要であり、当該ポインティングデバイスはウェアラブル機器には適していないという課題があった。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００７】
（１）本発明の一形態によれば、使用者の足に装着され、外部機器で利用される操作信号を出力する足入力装置が提供される。この足入力装置は、前記使用者の足裏の状態を検出し、検出した足裏の状態に応じた操作信号を出力する操作部を備える。
この形態の足入力装置によれば、使用者は、ハンズフリーの状態で外部機器を操作することができ、使用者の利便性が向上する。また、足入力装置は、使用者の足に装着されるウェアラブル機器であるため、従来技術のポインティングデバイスのような固定の設置スペースを不要とすることができ、多様な環境での使用が可能である。また、利用される外部機器がウェアラブル機器のような場合に、その外部機器を操作する入力装置として使用者の利便性が向上し、多様な環境での使用が可能である。
【０００８】
（２）上記形態の足入力装置において、前記操作部は、前記足裏の状態として前記使用者の足裏から受ける荷重を検出し、検出した荷重に応じた操作信号を出力する、としてもよい。
この形態の足入力装置によれば、足裏の状態として使用者の足裏から受ける荷重を検出し、検出した荷重に応じた操作信号を出力することができるので、使用者はハンズフリーの状態で外部機器を操作することができ、使用者の利便性が向上する。
【０００９】
（３）上記形態の足入力装置において、前記操作部は、前記足裏の予め定めた検出範囲における荷重の分布を検出し、検出した荷重の分布の変化に応じた操作信号を出力する、としてもよい。
この形態の足入力装置によれば、足裏の予め定めた検出範囲における荷重の分布を検出し、検出した荷重の分布の変化に応じた操作信号を出力することができるので、使用者はハンズフリーの状態で外部機器を操作することができ、使用者の利便性が向上する。
【００１０】
（４）上記形態の足入力装置において、前記使用者の右足の足裏から受ける右荷重を検出する右足荷重検出部と、前記使用者の左足の足裏から受ける左荷重を検出する左足荷重検出部と、を有し、前記操作部は、前記右荷重の変化と前記左荷重の変化とに応じた操作信号を出力する、としてもよい。
この形態の足入力装置によれば、右足に加える荷重と左足に加える荷重とを変化させることで、右荷重の変化と左荷重の変化とに応じた操作信号を出力することができるので、使用者はハンズフリーの状態で外部機器を操作することができ、使用者の利便性が向上する。
【００１１】
（５）上記形態の足入力装置において、前記右足荷重検出部は前記右荷重の分布を検出し、前記左足荷重検出部は前記左荷重の分布を検出し、前記操作部は、前記右荷重の分布と前記左荷重の分布とに応じた操作信号を出力する、としてもよい。
この形態の足入力装置によれば、右足に加える荷重と左足に加える荷重とを変化させることで、右荷重の分布と左荷重の分布とに応じた操作信号を出力することができるので、使用者はハンズフリーの状態で外部機器を操作することができ、使用者の利便性が向上する。
【００１２】
(６)上記形態の足入力装置において、前記右足荷重検出部及び前記左足荷重検出部は、前記右足の位置の変化及び前記左足の位置の変化を検出する機能を有し、前記操作部は、前記右足と前記左足との位置の変化に応じた操作信号を出力する、としてもよい。
この形態の足入力装置によれば、使用者は、右足と左足との位置関係を変化させることで、右足と左足との位置の変化に応じた操作信号を出力することができるので、使用者はハンズフリーの状態で外部機器を操作することができ、使用者の利便性が向上する。
【００１３】
（７）上記形態の足入力装置において、前記操作信号は、前記外部機器の画像表示部に表示される画像中におけるポインターの位置を変化させる信号である、としてもよい。
この形態の足入力装置によれば、使用者はハンズフリーの状態で外部機器の画像表示部に表示される画像中におけるポインターの位置を変化させることができ、使用者の利便性が向上する。
【００１４】
（８）上記形態の足入力装置において、前記操作信号は、前記外部機器の画像表示部に表示される表示画像を設定する信号である、としてもよい。
この形態の足入力装置によれば、使用者はハンズフリーの状態で外部機器の画像表示部に表示される表示画像を設定することができ、使用者の利便性が向上する。
【００１５】
（９）上記形態の足入力装置において、前記操作部は、前記使用者の左足と右足の一方の第１足に装着され、前記足裏の状態として、前記第１足の足裏から受ける荷重の分布を検出し、検出した荷重の分布の変化に応じて、第１操作信号及び第２操作信号の２種類の操作信号を出力する２種操作部と、前記使用者の左足と右足の他方の第２足に装着され、前記足裏の状態として、前記第２足の足裏の傾きを検出し、前記傾きの変化に応じて前記２種類の操作信号とは異なる第３操作信号を出力する１種操作部と、を有する、としてもよい。
この形態の足入力装置によれば、使用者は、第１足による荷重を変化させ、第２足の傾きを変化させることにより、荷重の分布の変化及び足裏の傾きの変化に応じて３種類の操作信号を出力することができるので、使用者はハンズフリーの状態で外部機器の操作を行なうことができ、使用者の利便性が向上する。
【００１６】
（１０）上記形態の足入力装置において、前記第１操作信号と前記第２操作信号と前記第３操作信号とは、前記外部機器で利用される３種類の操作に対応する３種類の操作信号である、としてもよい。
この形態の足入力装置によれば、使用者はハンズフリーの状態で外部機器に対して３種類の操作を行なうことができ、使用者の利便性が向上する。
足入力装置。
【００１７】
(１１)上記形態の足入力装置において、前記第１操作信号及び前記第２操作信号は、前記外部機器の画像表示部に表示される３次元画像の平面内方向に対応する信号であり、前記第３操作信号は、前記３次元画像の奥行き方向に対応する信号である、としてもよい。
この形態の足入力装置によれば、使用者はハンズフリーの状態で外部機器の画像表示部に表示される３次元画像の制御を行なうことができ、使用者の利便性が向上する。
足入力装置。
【００１８】
（１２）上記形態の足入力装置において、前記３種類の操作信号は、前記外部機器の画像表示部に表示される画像中におけるポインターの位置を変化させる信号である、としてもよい。
この形態の足入力装置によれば、使用者はハンズフリーの状態で外部機器の画像表示部に表示される画像中におけるポインターの位置を変化させることができ、使用者の利便性が向上する。
【００１９】
（１３）上記形態の足入力装置において、前記外部機器または前記外部機器に接続される他の外部機器は、３次元の方向に動作可能な動作機器を含み、前記３種類の操作信号は、前記動作機器を３次元の方向に動作させる操作信号として利用される信号である、としてもよい。
この形態の足入力装置によれば、使用者はハンズフリーの状態で、外部機器または外部機器に接続される他の外部機器に含まれる３次元の方向に動作可能な動作機器の操作を行なうことができ、使用者の利便性が向上する。
【００２０】
（１４）本発明の他の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着される画像表示部と；上記（１）から（１３）までのいずれか一項に記載の足入力装置と、前記使用者の足に装着される足入力装置と；前記画像表示部に表示させる表示画像を設定する表示設定部と；を備える。前記表示設定部は、前記足入力部から出力される操作信号に応じて、前記画像表示部に表示させる表示画像を設定する。
この形態の頭部装着型表示装置によれば、使用者は、ハンズフリーの状態で操作信号に応じて表示画像を設定でき、使用者の利便性が向上する。また、足入力装置は、使用者の足に装着されるウェアラブル機器であるため、従来技術のポインティングデバイスのような固定の設置スペースを不要とすることができ、頭部装着型表示装置の多様な環境での使用が可能である。
【００２１】
（１５）上記形態の頭部装着型表示装置において、通信可能に接続される外部機器または前記外部機器を介して接続される他の外部機器を操作する場合に、前記足入力装置から出力される操作信号を、前記外部機器または前記他の外部機器で利用される操作信号として送出する、としてもよい。
この形態の頭部装着型表示装置によれば、頭部装着型表示装置に通信可能に接続される外部機器または前記外部機器を介して接続される他の外部機器を操作することが可能であり、使用者の利便性が向上する。
【００２２】
（１６）上記形態の頭部装着型表示装置において、前記表示設定部は、あらかじめ定めた前記使用者の動作に対応して、前記表示画像に重ねて入力枠を設定するとともに、前記入力枠の下枠周辺にメニューを設定し、前記足入力装置は、前記使用者が所望するメニューを選択するための操作信号を出力し、前記表示設定部は、前記足入力部から出力された操作信号に従って、選択されたメニューが選択された状態を示す選択画像を設定する、としてもよい。
この形態の頭部装着型表示装置によれば、使用者は、ハンズフリーの状態で、表示画像に重ねてメニューを表示させることができ、メニューの選択を感覚的に行なうことができ、使用者の操作性が向上する。
【００２３】
（１７）本発明の別の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着される画像表示部と；前記使用者の足の裏の荷重を検出する荷重検出型足入力部と；前記荷重検出型足入力部が検出した荷重に応じて、前記画像表示部に表示させる表示画像を設定する表示設定部と、を備える。
この形態の頭部装着型表示装置によれば、使用者は、ハンズフリーの状態で表示画像を設定でき、使用者の利便性が向上する。また、荷重検出型足入力部は、使用者の足の裏に装着されるウェアラブル機器であるため、操作のために使用者の体や頭部装着型表示装置が空間を占めることがなく、頭部装着型表示装置が多様な環境で使用される。
【００２４】
（１８）上記形態の頭部装着型表示装置において、さらに；使用者の活動状態を特定する状態特定部を備え；前記表示設定部は、前記活動状態として使用者が移動している移動状態でないと特定された場合に、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定し、前記活動状態として使用者が移動している移動状態であると特定された場合に、既に設定された前記表示画像の設定を継続してもよい。
この形態の頭部装着型表示装置によれば、使用者の活動状態による荷重の変化によって表示画像が変更されるような誤作動を防止した上で、使用者の利便性を向上させることができる。
【００２５】
（１９）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、所定の範囲の荷重の分布を検出し；前記表示設定部は、予め設定されたポインター画像を前記画像表示部に表示させ、前記荷重検出型足入力部が検出した荷重の分布の変化に応じて、前記画像表示部における前記ポインター画像の表示位置を変化させてもよい。
この形態の頭部装着型表示装置によれば、使用者は、ハンズフリーで感覚的にポインター画像の表示位置を変更でき、使用者の利便性が向上する。
【００２６】
（２０）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、右足の荷重を検出する右荷重検出型足入力部と、左足の荷重を検出する左荷重検出型足入力部と、を有し；前記表示設定部は、前記右荷重検出型足入力部が検出した荷重の変化と、前記左荷重検出型足入力部が検出した荷重の変化と、に応じて、前記表示画像を設定してもよい。
この形態の頭部装着型表示装置によれば、使用者は、右足に加える荷重と左足に加える荷重とを変化させることで、右足の荷重と左足の荷重との組み合わせによって、表示画像を感覚的に多様に設定でき、使用者の利便性が向上する。
【００２７】
（２１）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、前記右荷重検出型足入力部と前記左荷重検出型足入力部との位置の変化を特定し；前記表示設定部は、前記位置の変化に応じて、前記表示画像の少なくとも一部分の拡大または縮小を実行してもよい。
この形態の頭部装着型表示装置によれば、使用者は、右足と左足との位置関係を変化させることで、表示画像を感覚的に拡大または縮小させることができ、使用者の利便性が向上する。
【００２８】
（２２）上記形態の頭部装着型表示装置において、前記表示設定部は；予め設定されたポインター画像を前記画像表示部に表示させ；前記右荷重検出型足入力部が検出した右荷重の分布と、前記左荷重検出型足入力部が検出した左荷重の分布と、に応じて前記ポインター画像の位置を変化させ、前記右荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量と前記左荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量とを異ならせてもよい。
この形態の頭部装着型表示装置によれば、使用者は、ポインター画像の表示位置の細かい調整を利き足で行ない、ポインター画像の表示位置の大雑把な調整を利き足とは異なる足で行なうことができる。これにより、使用者は、左足と右足とを使い分けることで、ポインター画像の表示位置をより細かく設定できる。
【００２９】
（２３）上記形態の頭部装着型表示装置において、さらに；前記荷重検出型足入力部と前記画像表示部とは別体に形成される慣性センサーを備え；前記表示設定部は、前記慣性センサーが取得した慣性データと、前記足装着部が検出した荷重と、に応じて、前記表示画像を設定してもよい。
この形態の頭部装着型表示装置によれば、使用者が装着した靴の靴底の荷重と、使用者におけるその他の部位の慣性センサーが取得した検出値とを用いることで、使用者に教授すべき動きを使用者に効率良く知覚させることができる。
【００３０】
（２４）上記形態の頭部装着型表示装置において、前記表示設定部は、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定できる場合に、前記荷重検出型足入力部の位置を表す画像を前記画像表示部に表示させてもよい。
この形態の頭部装着型表示装置によれば、荷重検出型足入力部の位置を使用者に認識させることができ、使用者の操作性が向上する。
【００３１】
（２５）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、使用者の足の裏に対応する面形状を有し、前記面形状の少なくとも一部に荷重を検出可能なセンサーが配置され；前記表示設定部は、前記荷重検出型足入力部の位置を表す画像として、前記面形状に対する前記センサーの位置を表す画像を前記画像表示部に表示させてもよい。
この形態の頭部装着型表示装置によれば、荷重を検出可能なセンサーの詳細な位置を使用者に認識させることができ、使用者の操作性がより向上する。
【００３２】
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、各種装置を操作するためのユーザーインターフェース、頭部装着型表示装置および表示装置の制御方法、制御システム、頭部装着型表示システム、制御システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００３３】
【図１】第１実施形態における頭部装着型表示装置（ＨＭＤ）を装着した使用者の概略図である。
【図２】画像表示部および制御部とその周辺装置の外観構成を示す説明図である。
【図３】第１実施形態におけるＨＭＤの構成を機能的に示すブロック図である。
【図４】画像光生成部によって画像光が射出される様子を示す説明図である。
【図５】靴底に配置されたセンサーの位置を表す説明図である。
【図６】センサーが受け付けた荷重の分布の変化によって第２操作部が出力する制御信号のイメージ図である。
【図７】センサーが受け付けた荷重の分布の変化によって第２操作部が出力する制御信号のイメージ図である。
【図８】第２操作部が検出した制御信号に応じて表示位置を変化させる矢印画像の説明図である。
【図９】第２操作部が検出した制御信号に応じて表示位置を変化させる矢印画像の説明図である。
【図１０】第２実施形態における荷重検出型足入力部のブロック図である。
【図１１】右足センサーおよび左足センサーの概略図である。
【図１２】右足センサーおよび左足センサーの概略図である。
【図１３】第４実施形態におけるＨＭＤの構成を機能的に示すブロック図である。
【図１４】右光学像表示部のみに表示された荷重検出型足入力部に対する第２操作部の位置を表す入力部画像の説明図である。
【図１５】第６実施形態における３次元足入力部のブロック図である。
【図１６】ＸＹセンサーの位置およびＺセンサーの位置を表す説明図である。
【図１７】爪先センサーの荷重および踵センサーの荷重と左足裏の傾きとの関係を示す説明図である。
【図１８】変形例の３次元足入力部のＺ入力部を示す説明図である。
【図１９】無人航空機の遠隔操作に３次元足入力部が適用される一例を示す説明図である。
【図２０】カメラの遠隔操作に３次元足入力部が適用される一例を示す説明図である。
【図２１】カメラの遠隔操作に３次元足入力部が適用される一例を示す説明図である。
【図２２】光学像表示部に表示された表示画像の操作に３次元足入力部が適用される一例を示す説明図である。
【図２３】光学像表示部に表示された表示画像の操作に３次元足入力部が適用される別の一例を示す説明図である。
【図２４】靴底に配置された変形例１の第２操作部の位置を表す説明図である。
【図２５】靴底に配置された変形例２の荷重検出型足入力部の位置を表す説明図である。
【図２６】靴底に配置された変形例３の荷重検出型足入力部の位置を表す説明図である。
【図２７】変形例におけるＨＭＤの外観構成を示す説明図である。
【図２８】変形例におけるＨＭＤの外観構成を示す説明図である。
【発明を実施するための形態】
【００３４】
Ａ．第１実施形態：
図１は、第１実施形態における頭部装着型表示装置１００（ＨＭＤ１００）を装着した使用者ＵＳの概略図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。図１に示すように、ＨＭＤ１００は、制御部１０と、使用者ＵＳの頭部に装着される画像表示部２０と、左イヤホン３４と、使用者ＵＳが履いている靴の靴底に配置された荷重検出型足入力部８０と、を備えている。第１実施形態のＨＭＤ１００では、使用者ＵＳが、画像表示部２０に表示された画像を視認可能であると同時に、画像表示部２０を透過した外景も直接視認可能である。なお、ＨＭＤ１００は、上記で説明した構成以外の構成も備えており、これらの構成については後述する。
【００３５】
図２は、画像表示部２０および制御部１０とその周辺装置の外観構成を示す説明図である。図２には、ＨＭＤ１００の内の荷重検出型足入力部８０以外の装置が示されている。制御部１０（コントローラー１０）は、画像表示部２０を制御する。
【００３６】
画像表示部２０は、コンテンツ等の画像を表示できる。画像表示部２０は、使用者ＵＳの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６０と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者ＵＳが画像表示部２０を装着した際に使用者ＵＳの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの眉間に対応する位置で、互いに接続されている。
【００３７】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者ＵＳの頭部に画像表示部２０を保持する。
【００３８】
右表示駆動部２２と左表示駆動部２４とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部２１，２３」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部２２，２４」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部２６，２８」とも呼ぶ。
【００３９】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図３参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者ＵＳの眼に導く。調光板は、薄板状の光学素子であり、使用者ＵＳの眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者ＵＳの眼に入る外光量を調整して表示画像の視認のしやすさを調整できる。なお、調光板は省略可能である。カメラ６０は、外景を撮像する。カメラ６０は、右光学像表示部２６の一端と左光学像表示部２８の一端とが接続される位置に配置されている。
【００４０】
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
【００４１】
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
【００４２】
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者ＵＳの指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。
【００４３】
図３は、第１実施形態におけるＨＭＤ１００の構成を機能的に示すブロック図である。図３に示すように、制御部１０は、記憶部１２０と、電源１３０と、第１通信部１３２と、第１操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。第１操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。第１通信部１３２は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューター、カメラ、ロボット、といった他の機器との間で無線通信を行なう。なお、図３には、荷重検出型足入力部８０との間で無線通信を行なう例が示されている。
【００４４】
記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、を有する。
【００４５】
ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、および画像設定部１６５として機能する。また、ＣＰＵ１４０は、各種アプリケーションに対応するコンピュータープログラムを実行することにより、実行されたアプリケーションを実行する装置として機能する。
【００４６】
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
【００４７】
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
【００４８】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【００４９】
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００５０】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して音声信号を供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
【００５１】
状態特定部１６８は、後述する荷重検出型足入力部８０から送信される制御信号に基づいて、ＨＭＤ１００の使用者ＵＳの活動状態を特定する。具体的には、状態特定部１６８は、荷重検出型足入力部８０が検出する使用者ＵＳの荷重の変化に基づいて、使用者ＵＳの活動状態を特定する。例えば、状態特定部１６８は、荷重検出型足入力部８０が検出する使用者ＵＳの荷重が一定の周期で増減している場合に、使用者ＵＳが歩行している歩行している移動状態であると特定する。活動状態の他の例として、状態特定部１６８は、荷重検出型足入力部８０が検出する使用者ＵＳの荷重が一定で変化しない場合には、使用者ＵＳが座っている状態や移動せずに立っている状態として特定する。
【００５２】
画像設定部１６５は、画像表示部２０に表示させる画像（表示画像）の各種設定を行なう。例えば、画像設定部１６５は、表示画像の表示位置や表示画像の大きさや表示画像の輝度などを設定したり、表示画像を三次元画像として、使用者に立体的（３Ｄ）に視認させるために両眼視差（単に、「視差」ともいう）を形成するように右眼用画像データと左眼用画像データとを設定する。また、詳細については後述するが、画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態でないと特定された場合に、荷重検出型足入力部８０が検出した荷重の変化に応じて、光学像表示部２６，２８に表示させる表示画像を設定する。換言すると、画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態であると特定された場合には、荷重検出型足入力部８０が検出した荷重の変化に関わらず、既に設定されて光学像表示部２６，２８に表示されている表示画像を変更せずに継続する。なお、画像設定部１６５は、請求項における「表示設定部」に相当する。
【００５３】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末、映像再生装置、カメラ、ロボット等の各種機器、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス、モニター用インターフェイス、ネットワーク用インターフェイス等の種々のインターフェイスのうち複数のインターフェイスを用いることができる。
【００５４】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６０とを備えている。
【００５５】
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
【００５６】
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００５７】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
【００５８】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
【００５９】
図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表す有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３に示すように、第１実施形態ではバックライト方式を採用したが、フロントライト方式（「反射方式」とも呼ばれる）を用いて画像光を射出する構成としてもよい。
【００６０】
荷重検出型足入力部８０（図３）は、使用者ＵＳの動きによって足裏から靴底に加わる荷重の所定の範囲の分布を検出し、検出した荷重の分布に応じた操作信号を出力する。荷重検出型足入力部８０は、第２通信部８１と、第２操作部８２と、バッテリー８３と、を備えている。バッテリー８３は、第２通信部８１および第２操作部８２に電力を供給する。バッテリー８３としては、例えば二次電池を用いることができる。第２通信部８１は、第２操作部８２が出力した制御信号（操作信号）を、第１通信部１３２へと送信する。第２通信部８１は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、第１通信部１３２との間で無線通信を行なう。第２操作部８２は、靴底に配置されたセンサー８２０を有している。センサー８２０は、上述した足裏から靴底に加わる荷重の予めされた検出範囲の分布を検出する荷重センサーである。なお、荷重検出型足入力部８０は、請求項における「足入力装置」に相当する。
【００６１】
図５は、靴底に配置されたセンサー８２０の位置を表す説明図である。図５に示すように、センサー８２０は、荷重検出型足入力部８０としての使用者ＵＳの右足に装着される右靴の靴底の爪先付近に配置される。センサー８２０は、使用者ＵＳが右靴を装着したときに、使用者ＵＳの右足の親指の位置の近辺に対応する位置に配置される。なお、図５には、後述する図６および図７における位置および向きの関係を表すために、各々が直交するＸ軸、Ｙ軸、およびＺ軸が示されている。Ｘ軸は、図５における左右方向に平行な軸であり、Ｙ軸は、図５における上下方向に平行な軸であり、Ｚ軸は、靴底の面に直交する軸である。
【００６２】
図６および図７は、センサー８０が受け付けた荷重の分布の変化によって第２操作部８２が出力する制御信号のイメージ図である。図６および図７に示すように、第２操作部８２は、センサー８０がＹ軸の正方向に沿った荷重方向Ｄ１に荷重の分布の変化を検出したとき、Ｙ軸の正方向に沿った制御信号を出力する。この場合に、第２操作部８２が出力した制御信号に応じて、例えば、画像設定部１６５は、光学像表示部２６，２８に表示されたポインターの画像などの表示位置を変化させる。第２操作部８２は、検出した荷重方向Ｄ２，Ｄ３，Ｄ４に沿った方向の制御信号を出力する。なお、本実施形態の画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態でないと判定された場合に、荷重検出型足入力部８０から送信された制御信号を有効に取り扱う。換言すると、画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態であると判定された場合には、荷重検出型足入力部８０から送信された制御信号を無効として取り扱う。
【００６３】
図８および図９は、第２操作部８２が検出した制御信号に応じて表示位置を変化させる矢印画像ＣＳ１の説明図である。図８には、第２操作部８２が検出した荷重の分布の変化に対応する前に光学像表示部２６，２８に表示された表示画像ＩＭＧ１が示されている。図９には、第２操作部８２が検出した荷重の分布の変化に対応した後に光学像表示部２６，２８に表示された表示画像ＩＭＧ２が示されている。表示画像ＩＭＧ１には、４つのアイコン画像ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４と、矢印画像ＣＳ１と、が含まれている。アイコン画像ＩＣ１は、選択されるとカメラ６０による外景の撮像を実行するための選択画像である。アイコン画像ＩＣ２は、選択されるとインターネットに接続して、各種ホームページを画像として表示させるための選択画像である。アイコン画像ＩＣ３は、選択されると第１通信部１３２を介して他の装置とのメッセージのやり取りを実行するための選択画像である。アイコン画像ＩＣ４は、選択されると表示画像ＩＭＧ１の表示の終了等の操作を実行するためのメニュー画面を開くための選択画像である。矢印画像ＣＳ１は、第２操作部８２が検出した荷重の変化に応じて、表示画像ＩＭＧ１の中で表示位置を変化させる画像である。矢印画像ＣＳ１がアイコン画像と重複した状態で、決定操作が行なわれると、重複したアイコン画像に対応するプログラムが実行される。決定操作としては、例えば、第１操作部１３５の決定キー１１が押下される操作などが挙げられる。
【００６４】
図９には、図８と比較して、矢印画像ＣＳ１の位置が矢印画像ＣＳ２へと変化した表示画像ＩＭＧ２が示されている。なお、図９には、実際には表示されていない表示画像ＩＭＧ１における矢印画像ＣＳ１の位置を破線で示している。矢印画像ＣＳ２は、矢印画像ＣＳ１の状態から、第２操作部８２が荷重方向Ｄ１（図６，７）に沿った荷重の分布の変化を検出した後の画像である。画像設定部１６５は、第２操作部８２が検出した荷重の分布の変化に応じて、表示画像ＩＭＧ１に含まれる矢印画像ＣＳ１の表示位置を変化させる。換言すると、使用者ＵＳは、右足の親指によって親指が靴底に加える荷重の分布を変化させることで、表示画像ＩＭＧ１の中の矢印画像ＣＳ１の表示位置を自由に変更できる。なお、矢印画像ＣＳ１，ＣＳ２は、請求項における「ポインター画像」に相当する。
【００６５】
以上説明したように、第１実施形態のＨＭＤ１００では、荷重検出型足入力部８０の第２操作部８２が検出した使用者ＵＳの荷重に応じて、画像設定部１６５が、光学像表示部２６，２８に表示させる表示画像を設定する。そのため、本実施形態のＨＭＤ１００では、使用者ＵＳは、ハンズフリーの状態で表示画像としてのポインター画像の移動などを実行でき、使用者ＵＳの利便性が向上する。また、荷重検出型足入力部８０は、使用者ＵＳが装着する履物の靴底に配置されているウェアラブル機器であるため、操作のためにＨＭＤ１００が必要以上の空間を占めることがなく、ＨＭＤ１００が多様な環境で使用される。
【００６６】
また、第１実施形態のＨＭＤ１００では、状態特定部１６８は、荷重検出型足入力部８０が検出した荷重に応じて、使用者ＵＳの活動状態が移動状態であるか否かを特定する。画像設定部１６５は、使用者ＵＳの活動状態が移動状態でない場合のみ、荷重検出型足入力部８０が検出した荷重に応じて、表示画像を設定する。そのため、第１実施形態のＨＭＤ１００では、使用者ＵＳの移動状態による荷重の変化によって表示画像が変更されるような誤作動を防止した上で、使用者ＵＳの利便性を向上させることができる。
【００６７】
また、本実施形態のＨＭＤ１００では、画像設定部１６５は、荷重検出型足入力部８０が検出した荷重の分布の変化に応じて、光学像表示部２６，２８に表示させた矢印画像ＣＳ１，ＣＳ２の表示位置を変化させる。そのため、本実施形態のＨＭＤ１００では、使用者ＵＳは、ハンズフリーで感覚的に矢印画像ＣＳ１，ＣＳ２の表示位置を変更でき、使用者ＵＳの利便性が向上する。
【００６８】
Ｂ.第２実施形態：
図１０は、第２実施形態における荷重検出型足入力部８０ａのブロック図である。第２実施形態のＨＭＤでは、第１実施形態のＨＭＤ１００（図１〜図３）と比較して、荷重検出型足入力部８０ａが異なり、他の構成については第１実施形態のＨＭＤ１００と同じである。そのため、第２実施形態では、第１実施形態と異なる荷重検出型足入力部８０ａの詳細について説明し、第１実施形態と同じ構成については図示及び説明を省略する。
【００６９】
図１０に示すように、第２実施形態の荷重検出型足入力部８０ａは、右足センサー８２１と、左足センサー８２２とを有する。右足センサー８２１は、使用者ＵＳの右足に装着される右靴の底に配置された荷重センサーである。左足センサー８２２は、使用者ＵＳの左足に装着される左靴の底に配置された荷重センサーである。右足センサー８２１および左足センサー８２２は、装着された使用者ＵＳの足の加速度を検出できる加速度センサーとしても機能する。なお、右足センサー８２１は、請求項における「右荷重検出型足入力部」及び「右足荷重検出部」に相当し、左足センサー８２２は、請求項における「左荷重検出型足入力部」及び「左足荷重検出部」に相当する。
【００７０】
図１１は、右足センサー８２１および左足センサー８２２の概略図である。図１１に示すように、右足センサー８２１は、第１実施形態の第２通信部８１と同じく、使用者ＵＳが右足に靴を装着したときに、右足の親指の下に対応する位置に配置される。左足センサー８２２は、使用者ＵＳが左足に靴を装着したときに、左足の親指の下に対応する位置に配置される。右足センサー８２１が荷重方向Ｄ５に沿った加速度を検出し、かつ、左足センサー８２２が荷重方向Ｄ５とは反対方向の荷重方向Ｄ６の方向に沿った加速度を検出すると、画像設定部１６５は、矢印画像ＣＳ１の表示位置を中心とする所定の範囲の画像を拡大する。簡単に言うと、右足センサー８２１および８２２が使用者ＵＳの右足と左足とが離れるような位置の変化を検出すると、画像設定部１６５は、所定の範囲の表示画像を拡大する。
【００７１】
図１２は、右足センサー８２１および左足センサー８２２の概略図である。図１２に示すように、右足センサー８２１が荷重方向Ｄ６に沿った加速度を検出し、かつ、左足センサー８２２が荷重方向Ｄ５に沿った加速度を検出すると、画像設定部１６５は、矢印画像ＣＳ１の表示位置を中心とする所定の範囲の画像を縮小する。簡単に言うと、右足センサー８２１および左足センサー８２２が使用者ＵＳの右足と左足とが近づくような位置の変化を検出すると、画像設定部１６５は、所定の範囲の表示画像を縮小する。
【００７２】
以上説明したように、第２実施形態のＨＭＤ１００ａでは、第２操作部８２は、使用者ＵＳの右足の位置の変化としての加速度を検出する右足センサー８２１と、使用者ＵＳの左足の位置の変化としての加速度を検出する左足センサー８２２と、を有している。画像設定部１６５は、右足センサー８２１が装着された使用者ＵＳの右足と、左足センサー８２２が装着された使用者ＵＳの左足と、の位置の変化に応じて、光学像表示部２６，２８の表示画像を設定する。さらに、画像設定部１６５は、右足センサー８２１が装着された使用者ＵＳの右足と、左足センサー８２２が装着された使用者ＵＳの左足と、の位置の変化に応じて、表示画像の拡大または縮小を実行する。そのため、第２実施形態のＨＭＤ１００ａでは、使用者ＵＳは、右足と左足との位置関係を変化させることで、表示画像を感覚的に操作でき、使用者ＵＳの利便性が向上する。
【００７３】
Ｃ．第３実施形態：
第３実施形態では、第２実施形態と同じように、第２操作部８２ａが右足センサー８２１および左足センサー８２２を有しており（図１０）、第２実施形態と比較して、画像設定部（図３）が実行する制御が異なる。第３実施形態では、画像設定部１６５ｂは、右足センサー８２１が検出した荷重の分布の変化、および、左足センサー８２２が検出した荷重の分布の変化に応じて、矢印画像ＣＳ１，ＣＳ２の表示位置（図８，図９）を変化させる。第３実施形態では、画像設定部は、右足センサー８２１が検出した荷重の変化量に対応する矢印画像ＣＳ１の表示位置の変化量と、左足センサー８２２が検出した荷重の変化量に対応する矢印画像ＣＳ１の表示位置の変化量と、が異なるように制御する。具体的には、第３実施形態では、右足センサー８２１が検出した荷重の分布の変化量に対する矢印画像ＣＳ１の表示位置の変化量が、左足センサー８２２が検出した荷重の分布の変化量に対する矢印画像ＣＳ１の表示位置の変化量よりも小さい。
【００７４】
以上説明したように、第３実施形態のＨＭＤでは、右足センサー８２１が検出した荷重の分布の変化に対応する矢印画像ＣＳ１の表示位置の変化量と、左足センサー８２２が検出した荷重の分布の変化に対応する矢印画像ＣＳ１の表示位置の変化量とが異なる。そのため、第３実施形態のＨＭＤでは、使用者ＵＳは、矢印画像ＣＳ１の表示位置の細かい調整を利き足で行ない、矢印画像ＣＳ１の表示位置の大雑把な調整を利き足とは異なる足で行なうことができる。これにより、使用者ＵＳは、左足と右足とを使い分けることで、矢印画像ＣＳ１の表示位置をより細かく設定できる。
【００７５】
Ｄ．第４実施形態：
図１３は、第４実施形態におけるＨＭＤ１００ｃの構成を機能的に示すブロック図である。第４実施形態のＨＭＤ１００ｃでは、第１実施形態のＨＭＤ１００（図３）と比較して、使用者ＵＳの頭部と使用者ＵＳが装着する靴の靴底以外の位置に装着される慣性センサー９０を有していること、画像設定部１６５ｃが慣性センサー９０の検出値と荷重検出型足入力部８０の検出値とに基づいて表示画像を設定すること、とが異なり、その他の構成については、第１実施形態のＨＭＤ１００と同じである。なお、図１３では、図３に示したインターフェイス１８０に接続されたコンテンツのブロック図を省略し、図示していない。
【００７６】
図１３に示すように、第４実施形態のＨＭＤ１００ｃは、慣性センサー９０を備えている。慣性センサー９０は、使用者ＵＳの膝に装着されて、使用者ＵＳの動作を検出する。慣性センサー９０は、第３通信部９１と、加速度センサー９２と、バッテリー９３と、を有している。バッテリー９３は、第３通信部９１および加速度センサー９２に電力を供給する。バッテリー９３としては、例えば二次電池を用いることができる。第３通信部９１は、加速度センサー９２が出力した制御信号を、第１通信部１３２ｃへと送信する。加速度センサー９２は、重力方向を基準として、加速度を検出する。そのため、慣性センサー９０は、加速度センサー９２に検出された加速度に基づいて、使用者ＵＳの動作を特定する。なお、加速度センサー９２によって検出される加速度は、請求項における「慣性データ」に相当する。
【００７７】
画像設定部１６５ｃは、慣性センサー９０が動作の変化をほとんど検出しない状態（例えば、使用者ＵＳが立ち止まっている状態）の場合のみ、荷重検出型足入力部８０が検出した荷重を有効として、矢印画像ＣＳ１の表示位置を変化させる。また、画像設定部１６５ｃは、第１操作部１３５が受け付けた操作に応じて、慣性センサー９０の検出値および荷重検出型足入力部８０の検出値を数値やグラフとして光学像表示部２６，２８に表示できる。
【００７８】
第４実施形態の状態特定部１６８ｃは、慣性センサー９０が検出した加速度と荷重検出型足入力部８０が検出した荷重の分布の変化とに基づいて、使用者ＵＳの活動状態を特定できる。状態特定部１６８ｃは、慣性センサー９０によって検出された加速度の変化が重力方向に対して一定の周期で変動し、かつ、重力方向に平行な面に沿って使用者ＵＳが移動していることを検出することで、使用者ＵＳが移動状態であることを特定できる。
【００７９】
以上説明したように、第４実施形態のＨＭＤ１００ｃでは、使用者ＵＳの頭部と使用者ＵＳが装着した靴とは異なる部分に装着された慣性センサー９０が検出した検出値に応じて、画像設定部１６５ｃが表示画像を設定する。そのため、第４実施形態のＨＭＤ１００ｃでは、荷重検出型足入力部８０の検出値と慣性センサー９０の検出値との組み合わせによる制御が可能であるため、多様な制御を実行できる。また、第４実施形態のＨＭＤ１００ｃでは、使用者ＵＳが装着した靴の靴底の荷重と、使用者ＵＳにおけるその他の部位の検出値とを用いることで、例えば、ダンスなどの使用者ＵＳの理想的な体の動きを知覚するために応用できる。使用者ＵＳの体の動きとしては、ゴルフのスイング、スキーの左右の足のバランスなどが挙げられる。
【００８０】
Ｅ．第５実施形態：
図１４は、右光学像表示部２６のみに表示された荷重検出型足入力部８０に対する第２操作部８２の位置を表す入力部画像ＩＭ８０の説明図である。第５実施形態のＨＭＤでは、第１実施形態と比較して、画像設定部１６５（図３）が入力部画像ＩＭ８０を右光学像表示部２６のみに表示させる処理が異なり、他の処理および他の構成については、第１実施形態のＨＭＤ１００と同じである。そのため、第５実施形態では、入力部画像ＩＭ８０について説明し、第１実施形態と同じ処理および同じ構成についての説明を省略する。
【００８１】
図１４に示すように、画像設定部１６５は、右光学像表示部２６に表示画像ＩＭＧ３を表示させる。表示画像ＩＭＧ３の右上には、図５に示す荷重検出型足入力部８０において、使用者ＵＳの荷重を検出可能な第２操作部８２（具体的にはセンサー８２０）の位置を表す入力部画像ＩＭ８０が含まれている。なお、第５実施形態では、画像設定部１６５は、入力部画像ＩＭ８０を含まない表示画像ＩＭＧ３を左光学像表示部２８に表示させる。他の実施形態では、右光学像表示部２６に表示させた同じ表示画像ＩＭＧ３を左光学像表示部２８に表示させてもよい。
【００８２】
入力部画像ＩＭ８０は、使用者ＵＳの右足の裏面に対応する面形状の画像である。入力部画像ＩＭ８０は、操作位置画像ＩＭ８２を含んでいる。入力部画像ＩＭ８０における操作位置画像ＩＭ８２の位置は、荷重検出型足入力部８０における第２操作部８２(センサー８２０）の位置と同じである。換言すると、入力部画像ＩＭ８０は、操作位置画像ＩＭ８２が入力部画像ＩＭ８０においてどの部分に位置するかを使用者ＵＳに認識させるための画像である。
【００８３】
以上説明したように、第５実施形態のＨＭＤでは、画像設定部１６５は、操作位置画像ＩＭ８２を含む入力部画像ＩＭ８０を右光学像表示部２６に表示させる。入力部画像ＩＭ８０は、荷重検出型足入力部８０に対する第２操作部８２の位置を表す画像である。そのため、第５実施形態のＨＭＤでは、使用者ＵＳは、入力部画像ＩＭ８０を視認することで、操作を実行するために荷重を加える第２操作部８２の位置を認識できる。これにより、使用者ＵＳにとっての操作性が向上する。さらに、使用者ＵＳの右足に装着された荷重検出型足入力部８０を表す入力部画像ＩＭ８０は、使用者ＵＳの右眼ＲＥに対応する右光学像表示部２６のみに表示される。また、入力部画像ＩＭ８０は、表示画像ＩＭＧ３における右側に含まれる。そのため、使用者ＵＳは、荷重検出型足入力部８０が右足に対応することをより感覚的に認識でき、使用者ＵＳの操作性がさらに向上する。
【００８４】
Ｆ．第６実施形態：
図１５は、第６実施形態における３次元足入力部８０ｘｙｚのブロック図である。第６実施形態のＨＭＤは、第１実施形態のＨＭＤ１００（図１〜図３）と比較して、使用者ＵＳの足に装着される３次元足入力部８０ｘｙｚが異なり、他の構成については第１実施形態のＨＭＤ１００と同じである。そのため、第６実施形態では、第１実施形態と異なる３次元足入力部８０ｘｙｚの詳細について説明し、第１実施形態と同じ構成については図示及び説明を省略する。
【００８５】
３次元足入力部８０ｘｙｚは、使用者ＵＳの左靴の靴底に配置されることにより、左足に装着される左足入力部であるＸＹ入力部８０ｘｙと、右靴の靴底に配置されることにより、右足に装着される右足入力部であるＺ入力部８０ｚと、を有する。ＸＹ入力部８０ｘｙは、ＸＹ通信部８１ｘｙと、ＸＹ操作部８２ｘｙと、バッテリー８３ｘｙと、を有する。Ｚ入力部８０ｚは、Ｚ通信部８１ｚと、Ｚ操作部８２ｚと、バッテリー８３ｚと、を有する。バッテリー８３ｘｙは、ＸＹ通信部８１ｘｙ及びＸＹ操作部８２ｘｙに電力を供給する。バッテリー８３ｚは、Ｚ通信部８１ｚ及びＺ操作部８２ｚに電力を供給する。ＸＹ通信部８１ｘｙは、ＸＹ操作部８２ｘｙが出力したＸ方向の制御信号（Ｘ制御信号，Ｘ操作信号）及びＹ方向の制御信号（Ｙ制御信号，Ｙ操作信号）を、第２通信部８１（図３）と同様の無線通信によって第１通信部１３２へと送信する。Ｚ通信部８１ｚは、Ｚ操作部８２ｚが出力したＺ方向の制御信号（Ｚ制御信号，Ｚ操作信号）を、第２通信部８１と同様の無線通信によって第１通信部１３２へと送信する。ＸＹ操作部８２ｘｙは、左靴の靴底に配置されたＸＹセンサー８２２ｘｙを有している。Ｚ操作部８２ｚは、右靴の靴底に配置されたＺセンサー８２１ｚを有している。ＸＹセンサー８２２ｘｙおよびＺセンサー８２１ｚは、足裏から靴底に加わる荷重の予め定めた検出範囲における荷重の分布を検出する荷重センサーである。
【００８６】
図１６は、ＸＹセンサー８２２ｘｙの位置およびＺセンサー８２１ｚの位置を表す説明図である。ＸＹセンサー８２２ｘｙは、使用者ＵＳの左足に装着されている左靴の靴底の全面に配置されている。Ｚセンサー８２１ｚは、使用者ＵＳの右靴の靴底の爪先付近及び踵付近に離散的に配置されている。以下では、爪先付近のＺセンサー８２１ｚを「爪先センサー８２１ｚｔ」とも呼び、踵付近のＺセンサー８２１ｚを「踵センサー８２１ｚｈ」とも呼ぶ。なお、図１６には、後述する操作方向と荷重方向との関係を表すため、各々が直交するＸ軸、Ｙ軸、およびＺ軸が示されている。Ｘ軸は、図１６における左右方向、すなわち、使用者ＵＳの左右方向に平行な軸であり、Ｙ軸は、図６における上下方向、すなわち、使用者ＵＳの前後方向に平行な軸であり、Ｚ軸は、靴底の面に直交する鉛直方向に平行な軸である。
【００８７】
ＸＹ入力部８０ｘｙにおいて、ＸＹセンサー８２２ｘｙがある荷重の分布を検出している状態から、変化した荷重の分布の状態を検出した場合、その荷重の分布の変化は、図１６に示した荷重方向Ｄ９１の変化成分と荷重方向Ｄ９２の変化成分とに分解される。荷重方向Ｄ９１はＸ方向に平行な方向であり、荷重方向Ｄ９２はＹ方向に平行な方向であるので、荷重方向Ｄ９１の変化をＸ方向の変化とし、荷重方向Ｄ９２の変化をＹ方向の変化とすることにより、Ｘ方向の変化およびＹ方向の変化に応じて、２方向の制御や操作が可能である。ＸＹ入力部８０ｘｙのＸＹ操作部８２ｘｙ（図１５）は、これを利用して、ＸＹセンサー８２２ｘｙが検出した荷重の分布の変化に応じて、Ｘ方向の変化を示すＸ操作信号（Ｘ制御信号）およびＹ方向の変化を示すＹ操作信号（Ｙ制御信号）を出力する。なお、荷重方向Ｄ９１（Ｘ方向）の荷重の分布の変化量をＸ方向の操作量とし、荷重方向Ｄ９２（Ｙ方向）の荷重の分布の変化量をＹ方向の操作量とすることもできる。
【００８８】
Ｚ入力部８０ｚにおいて、Ｚ操作部８２ｚは、以下で説明するように、Ｚセンサー８２１ｚの爪先センサー８２１ｚｔの荷重および踵センサー８２１ｚｈの荷重に基づいて、荷重方向Ｄ９３に平行なＺ方向の変化を示すＺ操作信号(Ｚ制御信号）を出力する。
【００８９】
図１７は、爪先センサー８２１ｚｔの荷重および踵センサー８２１ｚｈの荷重と左足裏（靴底）の傾きとの関係を示す説明図である。接地面に対して爪先から踵まで全体で接地させている状態（平足状態）における爪先センサー８２１ｚｔの荷重をＭｔｆ、踵センサー８２１ｚｈの荷重をＭｈｆとする。爪先をあげて踵荷重とした場合、爪先センサー８２１ｚｔの荷重Ｍｔｈは平足時の爪先の荷重Ｍｔｆよりも小さくなり、逆に、踵センサー８２１ｚｈの荷重Ｍｈｈは平足時の踵の荷重Ｍｈｆよりも大きくなる。従って、平足時の荷重を基準として爪先の荷重の変化及び踵の荷重の変化から、左足の足裏（靴底）の傾きを検出することができる。
【００９０】
Ｚ操作部８２ｚは、これを利用して、踵荷重状態（爪先上げ状態）への傾きの変化を＋Ｚ方向の変化とし、爪先荷重状態(踵上げ状態）への傾きの変化を−Ｚ方向の変化として、Ｚ方向の変化を示すＺ操作信号(Ｚ制御信号）を出力する。踵荷重状態（爪先上げ状態）への傾きの変化を−Ｚ方向の変化とし、爪先荷重状態(踵上げ状態）への傾きの変化を＋Ｚ方向の変化としてもよい。なお、平足時の爪先の荷重Ｍｔｆと踵の荷重ＭｈｆとをＭｔｆ＝Ｍｈｆとなるようにキャリブレーションした場合、爪先の荷重Ｍｔと踵の荷重Ｍｈの大小関係から、踵荷重状態（爪先上げ状態）への傾きの変化と、爪先荷重状態(踵上げ状態）への傾きの変化とを検出することもできる。
【００９１】
なお、ＸＹセンサー８２２ｘｙおよびＺセンサー８２１ｚ（８２１ｚｔ，８２１ｚｈ）が検出する荷重の大きさは、使用者ＵＳの姿勢、例えば、立っている状態とイス等に座っている状態とでは違いがあり、立っている状態では荷重は大きくなり、座っている状態では荷重は小さくなる傾向にある。そこで、使用者ＵＳの操作時の姿勢に応じて、検出モードを切り替えることとし、荷重を検出する閾値を変化させるようにすることが好ましい。
【００９２】
図１８は、変形例の３次元足入力部８０ｘｙｚａのＺ入力部８０ｚａを示す説明図である。図１６に示した３次元足入力部８０ｘｙｚのＺ入力部８０ｚは、荷重センサーを用いた爪先センサー８２１ｚｔ及び踵センサー８２１ｚｈが検出する荷重の変化により足裏の傾きの変化を検出し、Ｚ方向の操作信号を出力する。これに対して、変形例のＺ入力部８０ｚａのように、加速度センサーや角加速度センサーを用いた爪先センサー８２１ｚａｔ及び踵センサー８２１ｚａｈが検出する加速度や角加速度の変化により足裏の傾きの変化を検出し、Ｚ方向の操作信号を出力することも可能である。この際、足をタップすることやポンピングすることにより発生する急激な加速度や角速度の変化を検出できるので、これを利用して、タップ回数やポンピング回数を検出し、その回数を操作量とするようにしてもよい。
【００９３】
以上説明したように、３次元足入力部８０ｘｙｚ，８０ｘｙｚａは、ＸＹ入力部８０ｘｙによってＸ方向及びＹ方向の２種類の操作信号を出力し、Ｚ入力部８０ｚ，８０ｚａによってＺ方向の１種類の操作信号を出力することにより、使用者ＵＳの両足の操作入力に従って、Ｘ，Ｙ，Ｚの３方向（３次元）の操作信号を出力することができる。なお、３次元足入力部８０ｘｙｚが請求項における「足入力装置」に相当する。ＸＹ操作部８２ｘｙが請求項における「２種操作部」に相当し、Ｚ操作部８２ｚが請求項における「１種操作部」に相当する。また、Ｘ方向の操作信号（Ｘ操作信号）が請求項における「第１操作信号」、Ｙ方向の操作信号（Ｙ操作信号）が請求項における「第２操作信号」、Ｚ方向の操作信号（Ｚ操作信号）が請求項における「第３操作信号」に相当する。
【００９４】
使用者ＵＳは３次元足入力部８０ｘｙｚ，８０ｘｙｚａを操作することによって、以下で説明するような種々の操作を行なうことができる。
【００９５】
図１９は、無人航空機１０００の遠隔操作に３次元足入力部８０ｘｙｚが適用される一例を示す説明図である。ＨＭＤの制御部１０に無人航空機（いわゆるドローン）１０００の遠隔制御部１０１０を接続し、３次元足入力部８０ｘｙｚ（図１５）から出力されるＸ，Ｙ，Ｚの３方向の操作信号によって、遠隔制御部１０１０が無人航空機１０００を遠隔操作することができる。例えば、ＸＹ入力部８０ｘｙ(図１５）から出力されるＹ方向の操作信号（Ｙ操作信号）により無人航空機１０００の前後方向の動きを操作可能であり、Ｘ方向の操作信号（Ｘ操作信号）により無人航空機１０００の左右方向の動きを操作可能である。また、Ｚ入力部８０ｚ（図１５）から出力されるＺ方向の操作信号（Ｚ操作信号）により無人航空機１００の鉛直方向の動き(上昇、静止、下降）を操作可能である。なお、遠隔制御部１０１０の機能はＨＭＤの制御部１０に内蔵されていてもよい。
【００９６】
図２０，図２１は、カメラ１１００の遠隔操作に３次元足入力部８０ｘｙｚが適用される一例を示す説明図である。ＨＭＤの制御部１０にネットワーク回線等を介して接続されたカメラ１１００を、３次元足入力部８０ｘｙｚ（図１５）から出力されるＸ，Ｙ，Ｚの３方向の操作信号によって遠隔操作することができる。例えば、図２０に示すように、ＸＹ入力部８０ｘｙ(図１５）から出力されるＹ方向の操作信号（Ｙ操作信号）によりカメラ１１００のレンズの方向を上下に動かすチルトの操作が可能であり、Ｘ方向の操作信号（Ｘ操作信号）によりカメラ１１００のレンズの方向を水平に動かすパンの操作が可能である。また、図２１に示すように、Ｚ入力部８０ｚ（図１５）から出力されるＺ方向の操作信号（Ｚ操作信号）により、カメラのズーム（ズームイン、現状、ズームアウト）の状態を操作することができる。
【００９７】
なお、図１９に示した例や図２０，図２１に示した例は一例であって、これらに限定されるものではなく、ロボットや自動車、船、飛行機等の遠隔操作や、それらの玩具の遠隔操作等、無線か有線かに関わらずＨＭＤに接続されて遠隔操作可能で、３次元の方向に動作可能な種々の動作機器の遠隔操作に適用可能である。また、ＨＭＤに限らずウェアラブル機器に接続されて遠隔操作可能で、３次元の方向に動作可能な種々の動作機器の遠隔操作に適用可能である。
【００９８】
図２２は、光学像表示部２６，２８に表示された表示画像ＩＭＧ４の操作に３次元足入力部８０ｘｙｚが適用される一例を示す説明図である。表示画像ＩＭＧ４の画面中の横方向がＸ方向、縦方向がＹ方向、奥行き方向がＺ方向に設定されている。使用者ＵＳの操作によって３次元足入力部８０ｘｙｚから出力されるＸ，Ｙ，Ｚの３方向の操作信号によって、表示画像ＩＭＧ４の状態を変化させることができる。例えば、Ｚ方向の操作信号によって＋Ｚ方向への変化が指示された場合には、前方に進んだ位置での画像に変化させることができ、−Ｚ方向への変化が指示された場合には、バックした位置での画像に変化させることができる。Ｘ方向の操作信号およびＹ方向の操作信号も同様である。すなわち、Ｘ，Ｙ，Ｚの３方向の操作信号に応じて表示される画像の状態画像の見え方を変化させる制御が可能である。図示は省略するが、ＩＭＧ４中の位置を示すポインターの位置をＸ，Ｙ，Ｚの３方向の座標で指示することができる。
【００９９】
図２３は、光学像表示部２６，２８に表示された表示画像ＩＭＧ５の操作に３次元足入力部８０ｘｙｚが適用される別の一例を示す説明図である。図２３は、図２２の表示画像ＩＭＧ４に、下枠周辺にメニューを有する入力枠の画像が重ねて設定された表示画像ＩＭＧ５を示している。足入力モードへの移行及び入力枠の表示は、例えば、ＨＭＤを装着した使用者ＵＳが足元を見ることによって、ＨＭＤのカメラ６０の撮像画像から、３次元足入力部８０ｘｙｚが装着された足元が認識されることをトリガーとして行われる。但し、入力枠の表示のトリガーは、これに限定されるものではなく、入力枠の表示のトリガーとして使用者ＵＳの種々の動作のうち、誤認され難い動作を予め定めて設定しておけばよい。
【０１００】
使用者ＵＳは、表示されたメニューの選択動作を、３次元足入力部８０ｘｙｚを操作することで実行することができる。下枠周辺にメニューを配置した場合、表示画像ＩＭＧ５中に重ねてシースルー表示される使用者ＵＳの足元を視認しながら、操作を行なうことが可能であり、使用者の操作性を高めることができる。
【０１０１】
Ｇ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
【０１０２】
Ｇ−１．変形例１：
上記第１実施形態では、荷重検出型足入力部８０は、靴底に加わる荷重の分布を検出したが、本明細書および請求項でいう「荷重」には、圧力および振動の概念も含まれる。例えば、荷重検出型足入力部８０は、圧力センサー、感圧センサー、衝撃センサー、および接触センサーのいずれかであってもよい。また、第１実施形態では、荷重検出型足入力部８０として、靴底に配置されている例を挙げたが、第１実施形態のようなインソールではなく、荷重検出型足入力部８０は、靴の中に直接形成されてもよいし、サンダル型であってもよいし、靴の外側に装着されてもよい。
【０１０３】
上記第１実施形態では、第２操作部８２のせンサー８２０は、使用者ＵＳに装着された靴の靴底において、使用者ＵＳの親指が置かれる位置に対応するように配置されたが、センサーが配置される位置については、種々変形可能である。図２４は、靴底に配置された変形例１のセンサー８２０ｄの位置を表す説明図である。図２４に示すように、変形例１の荷重検出型足入力部８０ｄのセンサー８２０ｄは、使用者ＵＳの右足に装着された右靴において、使用者ＵＳの右足の５本の指の付け根の位置に対応する部分に荷重センサーが配置されている。この変形例の荷重検出型足入力部８０ｄでは、使用者ＵＳは、右足の指ではなく、右足の体重全体によって光学像表示部２６，２８の表示画像を制御できる。なお、他の実施形態では、足裏の全面に荷重センサーが配置されてもよいし、右足と左足とで、荷重センサーが配置される位置が異なっていてもよい。
【０１０４】
Ｇ−２．変形例２：
上記実施形態では、画像設定部１６５が設定する表示画像として、矢印画像ＣＳ１の表示位置の変化を主として説明したが、設定される表示画像については種々変形可能である。例えば、荷重検出型足入力部８０が検出した荷重の変化に応じて、ＰＣのユーザーインターフェースであるマウスのクリック、ダブルクリック、およびドラッグに対応する機能が実行されて、実行に伴う変化が画像の変化として出力されてもよい。
【０１０５】
図２５は、靴底に配置された変形例２の荷重検出型足入力部８０ｅの位置を表す説明図である。変形例２の荷重検出型足入力部８０ｅは、第２実施形態の荷重検出型足入力部８０ａと同じように、右足センサー８２１ｅと、左足センサー８２２ｅとを有している。左足センサー８２２ｅは、第２実施形態と同じように、使用者ＵＳの左足に装着された左靴において、使用者ＵＳの左足の親指に対応する位置に配置されている。右足センサー８２１ｅは、第１左足センサー８２３と、第２左足センサー８２４と、を有する。第１左足センサー８２３は、使用者ＵＳの右足に装着された右靴において、使用者ＵＳの右足の親指に対応する位置に配置されている。第２左足センサー８２４は、使用者ＵＳの右足に装着された右靴において、使用者ＵＳの右足の薬指と小指とに対応する位置に配置されている。左足センサー８２２ｅ、第１左足センサー８２３、および第２左足センサー８２４は、予め設定された閾値以上の荷重が加わった場合に、ボタンの押下に対応するようにオンの信号として検出する。左足センサー８２２ｅは、閾値以上の荷重を検出した場合に、マウスのダブルクリック（左）の機能に相当する。第１左足センサー８２３は、閾値以上の荷重を検出した場合に、マウスの左クリックの機能に相当する。第２左足センサー８２４は、閾値以上の荷重を検出した場合に、マウスの右クリックに相当する。左足センサー８２２ｅ、第１左足センサー８２３、および８２４の機能の設定については、種々変形可能であり、左足センサー８２２ｅは、所定の時間以内に、閾値以上の荷重を２回以上検出したときに、ダブルクリックの機能を実行してもよい。変形例３では、矢印画像ＣＳ１の表示位置の変更だけでなく、各種メニューを決定する制御、および、当該制御に基づく表示画像の変更を実行できる。
【０１０６】
Ｇ−３．変形例３：
図２６は、靴底に配置された変形例３の荷重検出型足入力部８０ｆの位置を表す説明図である。変形例３の荷重検出型足入力部８０ｆは、第２実施形態の荷重検出型足入力部８０ａと同じように、左足センサー８２２ｆと、右足センサー８２１ｆとを有する。図２６に示すように左足センサー８２２ｆは、使用者ＵＳの左足に装着されている左靴の靴底の全面に配置された荷重センサーである。画像設定部１６５ｆは、右足センサー８２１ｆが荷重を検出している状態で、左足センサー８２２ｆが荷重の分布の変化を検出すると、荷重方向Ｄ９の４方向に沿って矢印画像ＣＳ１の表示位置を変化させる。画像設定部１６５ｆは、右足センサー８２１ｆが荷重を検出していない状態（例えば、使用者ＵＳが右足を上げている状態）で、左足センサー８２２ｆが荷重の分布の変化を検出すると、「決定」の制御として機能した表示画像を設定する。右足センサー８２１ｆは、使用者ＵＳの右足に装着されている右靴の靴底に、部分的に配置された荷重センサーである。
【０１０７】
図２６に示すように、右足センサー８２１ｆは、靴底の三箇所に離散的に配置されている。１つは、親指の付け根に対応する位置に配置され、残りの２つの内の１つは、小指の付け根に対応する位置に配置され、残りの１つは、踵に対応する位置に配置さている。画像設定部１６５ｆは、左足センサー８２２ｆが荷重を検出している場合に、右足センサー８２１ｆにおける親指および小指の付け根に対応する位置の２つの荷重センサーが検出した荷重の分布の変化に応じて、荷重方向Ｄ８に沿って矢印画像ＣＳ１の表示位置を変更する。画像設定部１６５ｆは、右足センサー８２１ｆにおける踵に配置された荷重センサーと、親指の位置に対応する荷重センサーと小指の位置に対応する荷重センサーとの少なくとも一方と、が検出する荷重の変化に応じて、荷重方向Ｄ８に直交する荷重方向Ｄ７に沿って矢印画像ＣＳ１の表示位置を変更する。画像設定部１６５ｆは、左足センサー８２２ｆが荷重を検出していない状態で、右足センサー８２１ｆのいずれかの荷重センサーが荷重の変化を検出すると、「決定」の制御として機能した表示画像を設定する。以上説明したように、使用者ＵＳの右足と左足とにおいて検出される荷重の組み合わせによって、画像設定部１６５ｆは、荷重検出型足入力部８０ｆが検出した荷重に割り当てられる表示画像の設定を変化させてもよい。
【０１０８】
Ｇ−４．変形例４：
上記実施形態では、矢印画像ＣＳ１，ＣＳ２の表示位置が変更することについて説明したが、荷重検出型足入力部８０が検出した荷重によって、矢印画像ＣＳ１，ＣＳ２の画像そのものが変更されてもよい。例えば、変形例３の荷重検出型足入力部８０ｆにおいて、画像設定部１６５ｆは、左足センサー８２２ｆが検出した荷重によって矢印画像ＣＳ１の表示位置を変化させた場合と、右足センサー８２１ｆが検出した荷重によって矢印画像ＣＳ１の表示位置を変化させた場合とで、矢印画像ＣＳ１の色や形状を異なるように設定してもよい。
【０１０９】
Ｇ−５．変形例５：
上記実施形態では、使用者ＵＳについて考慮されていなかったが、使用者ＵＳのそれぞれに対応してＨＭＤ１００が設定されてもよい。例えば、使用者ＵＳのそれぞれの体重が予め設定されることで、荷重検出型足入力部８０が検出する荷重の閾値が使用者ＵＳごとに異なる数値に設定されてもよい。
【０１１０】
荷重検出型足入力部８０が検出する荷重の変化について、使用者ＵＳによって靴底に接する足裏の面積や足裏の形が異なるため、使用者ＵＳごとの足裏の形状に対応するように設定されてもよい。例えば、荷重検出型足入力部８０の検出値による操作が実行される前に、使用者ＵＳが右に荷重をかけたときや踵に荷重をかけたときのデータを取得しておき、取得したデータに基づいて、荷重検出型足入力部８０が検出する荷重の閾値や、荷重の変化の向きの程度が設定されてもよい。
【０１１１】
Ｇ−６．変形例６：
上記第４実施形態では、画像設定部１６５ｃは、荷重検出型足入力部８０ｃの検出値と慣性センサー９０の検出値との組み合わせに応じて、表示画像を設定したが、荷重検出型足入力部８０ｃの検出値と慣性センサー９０の検出値とそれぞれに異なる制御を対応付けてもよい。例えば、画像設定部１６５ｃは、荷重検出型足入力部８０の検出値によって矢印画像ＣＳ１の表示位置を変更し、慣性センサー９０の検出値によって「決定」の機能に応じた表示画像を設定してもよい。
【０１１２】
Ｇ−７．変形例７：
上記実施形態において、荷重検出型足入力部８０が有するバッテリー８３は、ピエゾ素子を用いて形成され、使用者ＵＳの移動によって発電した電力を蓄えてもよい。
【０１１３】
Ｇ−８．変形例８：
上記実施形態では、荷重検出型足入力部８０は、荷重の分布の変化を検出したが、必ずしも荷重の分布を検出する必要はない。例えば、荷重検出型足入力部８０は、離散的に配置された複数の荷重センサーに加わる荷重に応じて、使用者ＵＳの足の裏の荷重の変化を検出してもよい。また、荷重検出型足入力部８０は、一点の荷重のみを検出して、画像設定部１６５が荷重の検出に応じて「決定」に対応する表示画像を設定してもよい。
【０１１４】
Ｇ−９．変形例９：
上記第１実施形態では、状態特定部１６８が特定する使用者ＵＳの活動状態として、移動状態を例に挙げて説明したが、使用者ＵＳの活動状態については、種々変形可能である。例えば、使用者ＵＳの活動状態として、一定の周期でのステップ、前のめりのときに発生する前荷重、前荷重の逆の場合の後ろ荷重、右荷重、および左荷重などが挙げられる。また、状態特定部１６８は、所定の時間または所定の複数のタイミングにおける活動状態の変化を組み合わせることもできる。画像設定部１６５は、状態特定部１６８によって特定された使用者ＵＳのこれらの活動状態および活動状態の組み合わせに基づいて、表示画像を設定できる。
【０１１５】
Ｇ−１０．変形例１０：
上記第５実施形態では、画像設定部１６５は、使用者ＵＳの右足に装着される荷重検出型足入力部８０を表す入力部画像ＩＭ８０を、右光学像表示部２６に表示される表示画像ＩＭＧ３の右側に表示させたが、入力部画像ＩＭ８０の表示態様については、種々変形可能である。例えば、荷重検出型足入力部８０が使用者ＵＳの左足に装着される場合には、画像設定部１６５は、入力部画像ＩＭ８０を左光学像表示部２８のみに表示させてもよい。
【０１１６】
Ｇ−１１．変形例１１：
画像設定部１６５は、図２５に示す所定の範囲の荷重センサーについて、どの部分にどの程度の荷重が加わっているかを表すためにリアルタイムで変化する棒グラフの画像を表示画像ＩＭＧ３に表示させてもよい。また、画像設定部１６５は、図２６に示す特定の機能が割り当てられた複数の荷重センサーを有する場合に、どの機能がどの荷重センサーに対応しているのかを表す画像を表示画像ＩＭＧ３に表示させてもよい。画像設定部１６５は、靴底の面形状を現す入力部画像ＩＭ８０の代わりに、第２操作部８２などの荷重センサーが配置されている位置を示す「右足親指」の文字画像を光学像表示部２６,２８に表示させてもよい。
【０１１７】
Ｇ−１２．変形例１２：
上記第６実施形態では、使用者ＵＳの操作時の姿勢に応じて、検出モードを切り替えることとし、荷重を検出する閾値を変化させることが好ましい点について説明した。他の第１〜第５実施形態においても同様である。
【０１１８】
Ｇ−１３.変形例１３：
各実施形態の足入力部に、荷重センサーに加えて角速度センサーや、加速度センサー等の慣性センサーを搭載するようにしてもよい。荷重センサーによる荷重検出と慣性センサーによる動きの検出とを組み合わせることにより、多様な制御が可能となる。例えば、一方の足の荷重センサーで荷重を検出しながら、他方の足の角速度センサーによって足の動きの方向、動きの強さ等を検出することで、ＨＭＤの画像表示部にＡＲ（Augmented Reality：拡張現実）表示される画像の動きを制御することができる。
【０１１９】
Ｇ−１４．変形例１４：
図２３で説明したメニューの選択動作は、第６実施形態の３次元足入力部８０ｘｙｚに限定されるものではなく、他の実施形態や変形例の荷重検出型足入力部８０，８０ａ，８０ｃ，８０ｄ，８０ｅ，８０ｆにおいても同様に適用可能である。
【０１２０】
Ｇ−１５．変形例１５：
図２３の説明では、足入力モードへの移行及び入力枠の表示は、例えば、ＨＭＤを装着した使用者ＵＳが足元を見ることによって、ＨＭＤのカメラ６０の撮像画像から、３次元足入力部８０ｘｙｚが装着された足元が認識されることをトリガーとして行われるとして説明した。しかしながら、足入力モードへの移行は、これに限定されるものではない。例えば、足入力モードへの移行のトリガーとして予め設定した足裏の状態を荷重センサーで検知することによって、足入力モードへ移行するようにしてもよい。また、一方の足の荷重センサーで荷重を検出しつつ、他方の足の予め定めた足アクションを慣性センサーで検出することによって足入力モードへ移行するようにしてもよい。すなわち、足入力モードへの移行のトリガーとして予め定めた足の状態を検知することにより、足入力モードへの移行を検出することができればよく、任意の足の状態の検出を足入力モードへの移行のトリガーとして設定することができる。
【０１２１】
Ｇ−１６．変形例１６：
また、第６実施形態では、３次元足入力部８０ｘｙｚのＸＹ入力部８０ｘｙ及びＺ入力部８０ｚが靴底のインソールとして配置されている例を挙げたが、靴底に内蔵されていてもよい。また、靴ではなく、サンダル型であってもよい。また、靴の中ではなく、靴の外側に装着されてもよい。
【０１２２】
Ｇ−１７．変形例１７：
上記実施形態では、制御部１０に第１操作部１３５が形成されたが、第１操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で第１操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、第１操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者ＵＳの操作性が向上する。また、カメラ６０が画像表示部２０に配置されたが、カメラ６０が画像表示部２０とは別体に構成され、外景を撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。
【０１２３】
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。
【０１２４】
また、画像光生成部として、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用したＨＭＤ１００であってもよい。具体的な構成としては、ＨＭＤ１００は、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材と、を光射出部として備えてもよい。ＨＭＤ１００がこの構成を備えると、信号光形成部によって射出された光は、ＭＥＭＳミラーによって反射され、光学部材に入射し、光学部材に導かれて、虚像形成面（例えば、反射面）に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、形成された虚像を使用者ＵＳが視認することで、使用者ＵＳに画像が認識される。
【０１２５】
また、例えば、ＨＭＤ１００は、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者ＵＳの頭部に装着されるのではなく、双眼鏡のように使用者ＵＳが手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
【０１２６】
また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。
【０１２７】
また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。
【０１２８】
Ｇ−１８．変形例１８：
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。
【０１２９】
Ｇ−１９．変形例１９：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
【０１３０】
Ｇ−２０．変形例２０：
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。
【０１３１】
図２７および図２８は、変形例におけるＨＭＤの外観構成を示す説明図である。図２７の例の場合、図２に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者ＵＳの右眼ＲＥの斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者ＵＳの左眼ＬＥの斜め上に配置されている。図２８の例の場合、図２に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの右眼ＲＥの斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの左眼ＬＥの斜め下に配置されている。このように、光学像表示部は使用者ＵＳの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様のＨＭＤ１００として実現できる。
【０１３２】
Ｇ−２１．変形例２１：
また、上記実施形態において、ＨＭＤ１００は、使用者ＵＳの左右の眼に同じ画像を表す画像光を導いて使用者ＵＳに二次元画像を視認させるとしてもよいし、使用者ＵＳの左右の眼に異なる画像を表す画像光を導いて使用者ＵＳに三次元画像を視認させるとしてもよい。
【０１３３】
Ｇ−２２．変形例２２：
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
【０１３４】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【０１３５】
Ｇ−２３．変形例２３：
また、上記実施形態では、図２および図３に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図３に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
【０１３６】
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１３７】
ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４…アイコン画像、１０…制御部、１１…決定キー、１２…点灯部、１３…表示切替キー、１４…トラックパッド、１５…輝度切替キー、１６…方向キー、１７…メニューキー、１８…電源スイッチ、２０，２０ｘ，２０ｙ…画像表示部、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６，２６ｘ，２６ｙ…右光学像表示部、２８，２８ｘ，２８ｙ…左光学像表示部，３０…イヤホンプラグ、３２…右イヤホン、３４…左イヤホン、４０…接続部、４２…右コード、４４…左コード、４６…連結部材、４８…本体コード、５１，５２…送信部、５３，５４…受信部、６０…カメラ、８０，８０ａ，８０ｃ，８０ｄ，８０ｅ，８０ｆ…荷重検出型足入力部、８０ｘｙｚ…３次元足入力部、８０ｘｙ…ＸＹ入力部（左足入力部）、８０ｚ…Ｚ入力部（右足入力部）、８１…第２通信部、８１ｘｙ…ＸＹ通信部、８１ｚ…Ｚ通信部、８２，８２ａ…第２操作部、８２ｘｙ…ＸＹ操作部、８２ｚ…Ｚ操作部、８３，８３ｘｙ，８３ｚ，９３…バッテリー、９０…慣性センサー、９１…第３通信部、９２…加速度センサー、１００，１００ａ，１００ｂ，１００ｃ，１００ｘ，１００ｙ…ＨＭＤ（頭部装着型表示装置）、１２０…記憶部、１３０…電源、１３２，１３２ｃ…第１通信部、１３５…第１操作部、１４０…ＣＰＵ、１５０…オペレーティングシステム、１６０…画像処理部、１６５，１６５ｂ，１６５ｃ，１６５ｆ…画像設定部、１６８，１６８ｃ…状態特定部、１７０…音声処理部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、８２０，８２０ｄ…センサー、８２１，８２１ｅ，８２１ｆ…右足センサー、８２１ｚ…Ｚセンサー、８２１ｚｔ…爪先センサー、８２１ｚｈ…踵センサー、８２２，８２２ｅ，８２２ｆ…左足センサー、８２２ｘｙ…ＸＹセンサー、８２３…第１左足センサー、８２４…第２左足センサー、１０００…無人航空機（ドローン）、１０１０…遠隔制御部、１１００…カメラ、ＡＰ…先端部、ＣＳ１，ＣＳ２…矢印画像、Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９，Ｄ９１，Ｄ９２，Ｄ９３…荷重方向、ＥＬ…左光学像表示部の端部、ＥＲ…右光学像表示部の端部、ＨＳｙｎｃ…水平同期信号、ＩＬ…照明光、ＩＭＧ１，ＩＭＧ２，ＩＭＧ３，ＩＭＧ４，ＩＭＧ５…表示画像、ＩＭ８０…入力部画像、ＩＭ８２…操作位置画像、ＬＣＤ２４…左、ＬＥ…左眼、ＯＡ…外部機器、ＰＣＬＫ…クロック信号、ＰＬ…画像光、ＰＮ…画像表示最大領域、ＲＥ…右眼、ＵＳ…使用者、ＶＳｙｎｃ…垂直同期信号
【図１】
2018101234.tif 000003
【図２】
2018101234.tif 000004
【図３】
2018101234.tif 000005
【図４】
2018101234.tif 000006
【図５】
2018101234.tif 000007
【図６】
2018101234.tif 000008
【図７】
2018101234.tif 000009
【図８】
2018101234.tif 000010
【図９】
2018101234.tif 000011
【図１０】
2018101234.tif 000012
【図１１】
2018101234.tif 000013
【図１２】
2018101234.tif 000014
【図１３】
2018101234.tif 000015
【図１４】
2018101234.tif 000016
【図１５】
2018101234.tif 000017
【図１６】
2018101234.tif 000018
【図１７】
2018101234.tif 000019
【図１８】
2018101234.tif 000020
【図１９】
2018101234.tif 000021
【図２０】
2018101234.tif 000022
【図２１】
2018101234.tif 000023
【図２２】
2018101234.tif 000024
【図２３】
2018101234.tif 000025
【図２４】
2018101234.tif 000026
【図２５】
2018101234.tif 000027
【図２６】
2018101234.tif 000028
【図２７】
2018101234.tif 000029
【図２８】
2018101234.tif 000030