(57)【要約】【課題】携帯性を維持しつつ入力操作し易いヘッドマウントディスプレイ装置及び携帯装置を提供する。【解決手段】顔面とフレーム部との間の覗き部を介してキーボード投影部１３から投影されたキーボード像２５と使用者Ｍの手元とを見ながらデータを入力する。ビデオカメラ部１４で撮影されたキーボード像２５の位置と操作検出用グローブ部２０をはめた使用者Ｍの指の位置とに基づいてどの指がキーボード像２５のどのキー２５ａ上にあるかを検出する。操作検出用グローブ部２０の指先に装着された加速度検出センサ２２で検出された加速度信号に基づいて打鍵されたキー２５ａを検出する。【選択図】図３
2009104429.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着可能であり、表示手段を有するヘッドマウントディスプレイ装置において、
キーボード像を所定位置に投影するキーボード像投影手段と、
前記キーボード像と前記使用者の手元とを撮像する撮像手段と
を備えていることを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記キーボード像投影手段で投影された前記キーボード像と前記使用者の手元とを覗くための覗き部を備えていることを特徴とする請求項１記載のヘッドマウントディスプレイ装置。
【請求項３】
前記請求項１又は２記載のヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置を制御する制御部と、
前記使用者の指に装着可能であり、その指の動きを検出する検出部とを備え、
前記制御部は、前記撮像手段で取得された画像データと前記検出部で検出された前記指の動きとに基づいて前記指で打たれた前記キーボード像のキーを特定するキー特定手段を有する
ことを特徴とする携帯装置。
【請求項４】
前記使用者の指に装着可能なマーキング手段を備えていることを特徴とする請求項３記載の携帯装置。
【請求項５】
前記制御部は、前記キー特定手段で特定されたキーを他のキーから識別可能に表示する表示制御手段を有することを特徴とする請求項３又は４記載の携帯装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はヘッドマウントディスプレイ装置及び携帯装置に関する。
【背景技術】
【０００２】
従来、頭部に装着されるヘッドマウントディスプレイ装置と携帯可能なコンピュータ本体とを有するウエアラブルコンピュータ（携帯装置）が知られている（下記特許文献参照）。
【特許文献１】特開２０００−２９６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述のウエアラブルコンピュータでは仮想キーボードを用いて入力操作を行なうが、この種のウエアラブルコンピュータではキーボードを用いて入力操作を行なうこともできる。
【０００４】
しかし、キーボードを持ち運ぶとすれば、ウエアラブルコンピュータの携帯性が損なわれる。このことは例えば折りたたみ式キーボードや投影型キーボードにもいえることである。
【０００５】
これに対し、キーボードを小さくすると、携帯性が大きく損なわれることはないが、入力操作をし難くなる。
【０００６】
この発明はこのような事情に鑑みてなされたもので、その課題は携帯性を維持しつつ入力操作し易いヘッドマウントディスプレイ装置及び携帯装置を提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため請求項１記載の発明は、使用者の頭部に装着可能であり、表示手段を有するヘッドマウントディスプレイ装置において、キーボード像を所定位置に投影するキーボード像投影手段と、前記キーボード像と前記使用者の手元とを撮像する撮像手段とを備えていることを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載のヘッドマウントディスプレイ装置において、前記キーボード像投影手段で投影された前記キーボード像と前記使用者の手元とを覗くための覗き部を備えていることを特徴とする。
【０００９】
請求項３記載の発明は、前記請求項１又は２記載のヘッドマウントディスプレイ装置と、前記ヘッドマウントディスプレイ装置を制御する制御部と、前記使用者の指に装着可能であり、その指の動きを検出する検出部とを備え、前記制御部は、前記撮像手段で取得された画像データと前記検出部で検出された前記指の動きとに基づいて前記指で打たれた前記キーボード像のキーを特定するキー特定手段を有することを特徴とする。
【００１０】
請求項４記載の発明は、請求項３記載の携帯装置において、前記使用者の指に装着可能なマーキング手段を備えていることを特徴とする。
【００１１】
請求項５記載の発明は、請求項３又は４記載の携帯装置において、前記制御部は、前記キー特定手段で特定されたキーを他のキーから識別可能に表示する表示制御手段を有することを特徴とする。
【発明の効果】
【００１２】
この発明によれば、携帯性を維持しつつ入力操作し易くすることができる。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の実施の形態を図面に基づいて説明する。
【００１４】
図２はこの発明の一実施形態に係る携帯装置の使用方法を説明する図である。
【００１５】
図２は使用者Ｍが携帯装置１を装着した状態を示す。コントローラ部（制御部）３０が例えばベルト（図示せず）を用いて使用者Ｍの腰に装着され、ヘッドマウントディスプレイ装置１０が使用者Ｍの頭部に装着され、操作検出用グローブ部２０がキーボード像２５上に置かれる手（図示せず）にはめられている。
【００１６】
ヘッドマウントディスプレイ装置１０は眼鏡型であり、フレーム部４１の下部と顔面との間に覗き部Ｓを有する。フレーム部４１とテンプル部４２とは一体に形成されている。なお、下方を覗くことができる覗き部Ｓを有するものであれば眼鏡型でなくゴーグル型であってもよい。
【００１７】
操作検出用グローブ部２０には指先検出用のＬＥＤ（マーキング手段）２１が装着されている。
【００１８】
ヘッドマウントディスプレイ装置１０とコントローラ部３０とは伝送ケーブルＣＡ１で接続されている。また、コントローラ部３０及び操作検出用グローブ部２０とコントローラ部３０とは伝送ケーブルＣＡ２で接続されている。
【００１９】
図１は使用者とキーボード像との関係を示す図である。
【００２０】
仮想キーボード投影部（キーボード像投影手段）１３によって投影されたキーボード像２５が机上（図示せず）等に投影されている。使用者Ｍは顔面とフレーム部４１との間の覗き部Ｓ介してキーボード像２５と使用者Ｍの手元とを見ながら入力操作を行う。
【００２１】
なお、図１、２においてキーボード像２５を構成する枠線（点線）２５ｂで囲まれた複数の四角形がそれぞれキー２５ａに相当する。
【００２２】
図３はこの発明の一実施形態に係る携帯装置のブロック図である。
【００２３】
この携帯装置はヘッドマウントディスプレイ装置１０と操作検出用グローブ部２０とコントローラ部３０とを備えている。
【００２４】
ヘッドマウントディスプレイ装置１０はディスプレイ部（表示手段）１１と光学レンズ部１２と仮想キーボード投影部１３とビデオカメラ部（撮像手段）１４とを有する。ディスプレイ部１１、光学レンズ部１２、仮想キーボード投影部１３及びビデオカメラ部１４は眼鏡型のヘッドマウントディスプレイ装置１０のフレーム部４１（図２参照）に支持されている。
【００２５】
ディスプレイ部１１は例えば液晶表示素子であり、使用者Ｍの眼Ｅの前に配置される。
【００２６】
光学レンズ１２は接眼光学系を構成する。光学レンズ１２はディスプレイ部１１上に表示された画像を使用者Ｍの眼Ｅより例えば数十ｃｍの位置に拡大された虚像として認識させる。
【００２７】
仮想キーボード投影部１３は、図示しないが、例えばキーボードが描かれたフィルムと、このフィルムの後方に設けられた光源とを有し、光源からの赤外光によってキーボード像２５を机（図示せず）上等の平らなところに投影する。仮想キーボード投影部１３はヘッドマウントディスプレイ装置１０を使用者Ｍの頭部に装着したとき、使用者Ｍの手（操作検出用グローブ部２０）が置かれる机上等にキーボード像が投影されるように斜め下方に向けられている。なお、図示しないがキーボード像２５の四隅には指標となる４つのマークが同時に投影される（マークが３つ以下では傾斜等による投影されるキーボード像のゆがみ等の状況判断が難しい）。
【００２８】
また、キー配列の異なる複数のキーボード像を投影できるようにしたい場合、仮想キーボード投影部１３としての液晶表示素子をＣＰＵ（キー特定手段、表示制御手段）３１に接続し、予め記憶しておいた配列や大きさの異なるキーボード像をＣＰＵ３１からの指示に基づいて仮想キーボード投影部１３の表示を切り替えるようにすればよい。このようにすれば、机の面積がキーボード像２５の投影面積より狭い場合であっても、ＣＰＵ３１からの指示に基づいて縮小されたキーボード像を選択して机上に投影できる。
【００２９】
ビデオカメラ部１４は投影されたキーボード像２５及びキーボード操作中の使用者Ｍの手元の画像を撮影し、画像信号に応じた電圧信号をコントローラ部３０へ送信する。
【００３０】
操作検出用グローブ部２０はグローブ部本体ＨとＬＥＤ２１と加速度検出センサ（検出部）２２とを有する。なお、マーキング手段としては反射率の高い反射板等を指先に取り付けるようにしてもよい。
【００３１】
ＬＥＤ２１はヘッドマウントディスプレイ装置１０を装着した状態で観察可能な位置、例えばグローブ部本体Ｈのそれぞれの指の指先から第１関節の間にそれぞれ装着される。
【００３２】
加速度検出センサ２２は指先の加速度を検知し易いようにグローブ部本体Ｈの指先に近い部分に装着される。加速度検出センサ２２は指先の加速度を検出し、加速度に応じた電圧信号をコントローラ部３０へ出力する。
【００３３】
コントローラ部３０は画像入力部３２と画像出力部３３と加速度検出部３４とＣＰＵ３１とを有する。
【００３４】
ＣＰＵ３１はインタフェースである画像入力部３２を介してビデオカメラ１４に接続されている。画像入力部３２は電圧信号をデジタル信号に変換し、画像信号としてＣＰＵ３１に供給する。
【００３５】
ＣＰＵ３１はインタフェースである画像出力部３３を介してディスプレイ部１１に接続されている。画像出力部３３はＣＰＵ３１で生成された画像信号をアナログ信号に変換し、ディスプレイ部１１に供給する。
【００３６】
ＣＰＵ３１はインタフェースである加速度検出部３４を介して加速度検出センサ２２に接続されている。加速度検出部３４は電圧信号をデジタル変換し、加速度信号としてＣＰＵ３１に供給する。
【００３７】
ＣＰＵ３１は画像入力部３２に入力した画像信号と加速度検出部３４に入力した加速度信号とに基づいて打鍵されたキー２５ａを判定し、画像を生成する。このとき、ＣＰＵ３１はキー特定手段として機能する。また、ＣＰＵ３１はヘッドマウントディスプレイ装置１０全体の動作を制御する。
【００３８】
使用者Ｍによって打鍵されたキー２５ａ（図２参照）を検知する方法を説明する。
【００３９】
キーボード像の位置検出：
キーボード像２５とともに投影される４つのマークの画像をビデオカメラ部１４で撮影してキーボード像２５の位置を検出する。また、キーボード像２５上の各キーの位置をマークからの距離等から検出する。なお、ヘッドマウントディスプレイ装置１０が装着されるのは使用者Ｍの頭部であり、ヘッドマウントディスプレイ装置１０とキーボード像２５との相対位置は固定されているわけではないので、移動するマークの位置を常時監視してマークの位置をヘッドマウントディスプレイ装置１０の動きに応じて検出する必要がる。
【００４０】
指位置検出：
操作検出用グローブ部２０の指先に装着されたＬＥＤ２１をビデオカメラ部１４で撮影して指の位置を検出する。そして、検出されたキーボード像２５の位置と指の位置とに基づいてどの指がキーボード像２５のどのキー２５ａ上にあるかを検出する。
【００４１】
打鍵検出：
操作検出用グローブ部２０の指先に装着された加速度検出センサ２２で検出された加速度信号に基づいて打鍵されたキー２５ａを検出する。
【００４２】
この実施形態によれば、使用者Ｍはヘッドマウントディスプレイ装置１０のフレーム部４１の覗き部Ｓから、ノートパソコン等のキーボードと同等の大きさのキーボード像２５と使用者Ｍの手元とを見ることができるため、携帯性を維持しつつ入力操作し易くすることができる。
【００４３】
なお、上記実施形態では仮想キーボード投影部１３から使用者Ｍの手元にキーボード像２５を投影する光路と操作検出用グローブ部２０の指先に装着された指先検出用のＬＥＤ２１をビデオカメラ１４で取得する光路とを別の光学系としたが、例えば操作検出用グローブ部２０とビデオカメラ１４との間の光路にハーフミラー（図示せず）を配置し、ハーフミラーによって分岐された光路上に仮想キーボード投影部１３を配置するようにしてもよい。この構成によって操作検出用グローブ部２０とハーフミラーとの間の光路が共通の光路となるため、操作検出用グローブ部２０へのキーボード像２５の投影と操作検出用グローブ部２０の指先に装着されたＬＥＤ２１の撮影とを同じ角度で行うことができる。
【００４４】
また、ビデオカメラ１４で撮影したキーボード像２５と手元の像とをディスプレイ部１１上の一部に表示させるようにしてもよい。
【００４５】
更に、ＣＰＵ３１の表示制御手段としての機能によって、指位置を検出する際、指が掛かっていると認識される箇所の枠線２５ｂ（図１では点線）の太さを変更したり、枠線２５ｂや枠内に色（例えばオレンジ色）を付けたり、指が押していると認識されたキーの枠線２５ｂの太さや枠内の色（例えば赤色）を変更したりしてもよい。
【００４６】
また、使用者Ｍの指の動きでマウスのような操作を行なえるようにしてもよい。例えば、操作検出用グローブ部２０の指先を上下左右に動かしたときディスプレイ部１１の表示がスクロールし、指先を右方向へ回転させたとき表示が拡大し、指先を左方向へ回転させたとき表示が縮小する等である。
【００４７】
更に、加速度検出センサ２２が装着された操作検出用グローブ部２０の指先で机を押したときの衝撃時の加速度を検出する代わりに動きの大きい指によって押されたキー２５ａを打鍵されたキーとして検出するようにしてもよい。これにより、指先で机を押すことなく空中で指を動かすだけでキー入力を行うことができる。なお、指の上下方向の振幅は使用者Ｍによって異なるため、予め（初回使用時）使用者Ｍの指の動きをデータとして取得しておけばよい。
【００４８】
また、指先の認識方法は上記実施形態の方法に限られるものではなく、例えばステレオカメラを利用して指の水平方向、垂直方向の動きを検出することによって押されたキーを特定するようにしてもよい。このようにすれば、加速度検出センサを不要にできるので、操作検出用グローブ部２０を用いる代わりに両手の１０本の指にそれぞれＬＥＤを装着した指輪を用いることもできる。
【００４９】
更に、ヘッドマウントディスプレイ装置１０の装着を検知する反射型のセンサ（図示せず）を例えば使用者Ｍの鼻に対向する位置にあるフレーム部のブリッジ部（図示せず）に設け、このセンサによってヘッドマウントディスプレイ装置１０が使用者Ｍに装着されているか否か検知し、ヘッドマウントディスプレイ装置１０が装着されていないことが検知されたとき、キーボード投影部１３によるキーボード像２５の投影を中止するようにしてもよい。これによって、携帯装置１の省電力を図ることができる。
【図面の簡単な説明】
【００５０】
【図１】図１は使用者とキーボード像との関係を示す図である。
【図２】図２はこの発明の一実施形態に係る携帯装置の使用方法を説明する図である。
【図３】図３はこの発明の一実施形態に係る携帯装置のブロック図である。
【符号の説明】
【００５１】
１０：ヘッドマウントディスプレイ装置、１１：ディスプレイ部（表示手段）、１３：仮想キーボード投影部（キーボード像投影手段）、１４：ビデオカメラ部（撮像手段）、２１：ＬＥＤ（マーキング手段）、２２：加速度検出センサ（検出部）、２５：キーボード像、２５ａ：キー、３０：コントローラ部（制御部）、３１：ＣＰＵ（キー特定手段、表示制御手段）、Ｍ：使用者、Ｓ：覗き部。
【図１】
2009104429.tif 000003
【図２】
2009104429.tif 000004
【図３】
2009104429.tif 000005