(57)【要約】      （修正有）【課題】キーデバイスのマークを変化させ、これをカメラで撮影して画像認識することでキー入力を行うことにより、低消費電力で誤認識の少ないキー入力を備えたヘッドマウントディスプレイを提供する。【解決手段】キーデバイス１０１のボタン１０３を押すと移動マークが決定マーク１０２bに変わる。これをカメラ付ヘッドマウントディスプレイ端末２０１は、カメラで撮影し、その画像を画像処理部が画像認識することでキーの入力処理を行う。この処理により、キー入力を行うことができるようになる。【選択図】図３
2012083812.tif 000002
【特許請求の範囲】
【請求項１】
キーデバイスと端末とからなるカメラ付ヘッドマウントディスプレイにおいて、
キーデバイスは、
マーク表示部とボタンを有し、このボタンを押下することでこのマーク表示に表示されたマークを変更するものであり、
端末は、
前記デバイスを撮影する撮影手段と、
前記撮影手段が撮影した画像を表示する表示手段と、
前記キーデバイスの前記マーク表示部の位置と前記マークの変更を認識すると、上記表示部に撮影した画像とともに仮想キーボードを表示させ、仮想キーボードによるキー入力を可能とする画像認識部とを有する
カメラ付ヘッドマウントディスプレイ。
【請求項２】
前記画像認識部が、キーデバイスの色と形を認識した後、特徴点の色と形を認識する2段階の認識を行うことで認識の精度向上を行うことを特徴とする請求項１記載のカメラ付ヘッドマウントディスプレイ。
【請求項３】
前記画像認識部が、前記マークの移動ベクトルを計算することで、前記画像認識部のマークの探索範囲を予想して探索範囲を減らすことを特徴とする請求項１記載のカメラ付ヘッドマウントディスプレイ。
【請求項４】
前記キーデバイスが、夜間には発光し、発光の変化でもキー入力が可能になることを特徴とする、請求項１記載のカメラ付ヘッドマウントディスプレイ。
【請求項５】
前記撮影手段が２つの撮影手段からなり、奥行きを検知することを可能にすることで、複数のキーボードを奥行き方向に並べて仮想キーボードによるキー入力を行うことを特徴とする、請求項１記載のカメラ付ヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想キーボードに用いられるカメラ付ヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来、この種のカメラ付きヘッドマウントディスプレイ用仮想キーボードとしては、例えば、特許文献１に記載されているようなものがあった。前記特許文献１の図５には、従来の仮想キーボードで用いられる入力デバイスが記載され、この入力デバイスは赤外線発光ペンは、赤外線発光ペンの動作開始のための電源スイッチと、位置指定入力のための発光スイッチと、電源スイッチのオン動作と共に連続発光を開始する位置確認のための発光部と、発光スイッチのオン動作により発光する入力指定のための発光部とを備えている。
【０００３】
機器ケース内の左右の側壁に設けられた赤外光検出センサによって、電源スイッチのオン時から赤外線発光ペンの発光部から連続して発せられる赤外光によって赤外線発光ペンの位置（機器ケースからの相対位置）が検出されるとともに、赤外光検出センサの内側に設けられた赤外光検出センサによって、赤外線発光ペンに設けられた発光スイッチをオンすることより発光部から発せられる赤外光（位置指定入力信号）が検出され、これによって、赤外線発光ペンによる位置指定が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７―78054号公報（第11頁、第５図）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の構成では、位置認識のため、常に発光部を光らせ、位置指定のためには更に発光部を光らせる必要があり、赤外線発光ペンのバッテリを消耗するという課題があった。
【０００６】
また、赤外線発光ペンの発光部は機器ケースの左右の側壁に設けられた赤外光検出センサによって、三角測量で位置検出が行われ、検出精度を求めるのが難しいという課題があった。同様に、赤外線発光ペンの発光部は機器ケースの左右の側壁に設けられた赤外光検出センサによって、三角測量で位置検出が行われ、検出精度を求めるのが難しいという課題があった。
【０００７】
本発明は、上記課題を解決するために、赤外線発光ペンを画像表示デバイスに変え、画像の変化を画像認識で認識することにより、キーの位置、入力を識別するようにする。その結果、キーの位置測定、入力でバッテリを消耗することなく、精度の高い認識ができるカメラ付ヘッドマウントディスプレイを提供することができる。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するため、本発明のカメラ付ヘッドマウントディスプレイは、キーデバイス部分に画像マークを設ける。この画像マークを画像認識することにより位置を識別し、更に画像マークの変化によって、入力を識別することで入力の精度を上げ、キーデバイスも電池を不要にする。
【発明の効果】
【０００９】
以上のように、本発明のカメラ付ヘッドマウントディスプレイによれば、キー入力の精度を上げることができ、キーの誤入力防止を図ることができる。更に、キーデバイスが画像の変化のみを必要とするので、発光させる必要がなく、バッテリを不要にすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１におけるブロック構成図
【図２】本発明の実施の形態１におけるボタン押下前の使用例を示すイメージ図
【図３】本発明の実施の形態１におけるボタン押下後の使用例を示すイメージ図
【図４】本発明の実施の形態１における全体フローチャート
【図５】本発明の実施の形態１における最初のルーチンの処理フローチャート
【図６】本発明の実施の形態１におけるキー探索＆決定の処理フローチャート
【図７】本発明の実施の形態１におけるマーク探索処理の処理フローチャート
【図８】本発明の実施の形態２におけるマーク探索処理の処理フローチャート
【図９】本発明の実施の形態３における最初のルーチンの処理フローチャート
【図１０】本発明の実施の形態３におけるキー探索及び決定の処理フローチャート
【図１１】本発明の実施の形態３における探索範囲決定の処理フローチャート
【図１２】本発明の実施の形態４におけるボタン押下前の使用例を示すイメージ図
【図１３】本発明の実施の形態４におけるボタン押下後の使用例を示すイメージ図
【図１４】本発明の実施の形態５におけるボタン押下前の使用例を示すイメージ図
【図１５】本発明の実施の形態５における脳内で結像されるイメージ図
【発明を実施するための形態】
【００１１】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１におけるカメラ付ヘッドマウントディスプレイ端末のブロック構成図である。
【００１３】
本発明は、キーデバイス１０１とカメラ付ヘッドマウントディスプレイ端末２０１で構成される。
【００１４】
キーデバイス１０１は、マーク表示部１０２とボタン１０３からなる。カメラ付ヘッドマウントディスプレイ端末２０１は、左目用カメラ２０２と右目用カメラ２０３、画像処理部２０４、左目用ディスプレイ２０５、右目用ディスプレイ２０６からなる。
【００１５】
図２はボタンを押す前の状態の使用例である。キーデバイス１０１のボタン１０３を押していない時、マーク表示部１０２は移動マーク１０２ａを表示する。また、左目用ディスプレイ２０５には、画像処理部２０４が生成した画像と左目用カメラ２０２が撮影した画像が表示可能だが、ここでは左目用カメラ２０２が撮影したキーデバイス１０１を表示している。同様に、右目用ディスプレイ２０６には、画像処理部２０４が生成した画像と右目用カメラ２０３が撮影した画像が表示可能であり、ここでは画像処理部２０４が生成した右目用第一仮想キーボード２０８と右目用カメラ２０３が撮影したキーデバイス１０１が表示されている。この状態で、キーデバイス１０１が右目用第一仮想キーボード２０７上に表示されると、移動マーク１０２ａが含まれる仮想キーはハイライトされる。この移動マーク１０２aを所望のキー２０８の位置に移動させる。所望のキー２０８に移動マーク１０２aが移動したらキーを押す。
【００１６】
図３はボタン１０３を押した後の状態の使用例である。キーデバイス１０１のボタン１０３を押すと移動マーク１０２aが決定マーク１０２bに変わる。これをカメラ付ヘッドマウントディスプレイ端末２０１は、カメラ２０２、２０３で撮影し、その画像を画像処理部２０４が画像認識することでキーの入力処理を行う。この処理により、キー入力を行うことができるようになる。
【００１７】
図４は画像処理部２０３の全体の処理フローチャートである。仮想キーボードのソフトが起動される(S1)と、初期化処理（S2）が行われる。その後、最初のルーチン（S3）が行われ、通常キー探索及び決定処理（S4）に入る。通常キー入力が行われている間、通常キー探索及び決定処理（S4）が行われる。終了キーの入力が行われる(S5)と、後処理(S6)が行われ、右目用第一仮想キーボード２０７は停止(S7)する。
【００１８】
図５は最初のルーチン(S3)の詳細なフローチャートである。最初に右目用カメラ２０３から入力された画像を取り込み(S31)、その画像を右目用ディスプレイ２０６に表示する時に一緒に右目用第一仮想キーボード２０７を表示する(S32)、この時、画像上での各キーの左上の座標をテーブルで保持するようにする。次に、右目用第一仮想キーボード２０７の範囲内で移動マーク１０２aを探索する(S33)。もし、移動マーク１０２aが見つかれば、次のステップに進み、見つからなければ画像取り込み(S31)に戻る(S34)。移動マーク１０２aがある場合、移動マーク１０２aが各キーの枠にかかっているかどうかチェックし、かかっていなければ次に進み、かかっていれば画像取り込み(S31)に戻る(S35)。移動マーク１０２aがキー枠にかかっていなければ、移動マーク１０２aを含むキーを特定し、記録する(S36)。更に、移動マーク１０２aを含むキーの枠をハイライトする(S37)。
【００１９】
図６は通常キー探索及び決定(S4)の詳細なフローチャートである。右目用カメラ２０３から画像を取り込み（S41）、その画像に右目用第一仮想キーボード２０７を重ねて右目用ディスプレイ２０６に表示する(S42)。右目用第一仮想キーボード２０７の内部で移動マーク１０２aの探索を行う(S43)。この時、移動マーク１０２ａがあれば次の探索処理に進み、なければ別の処理に進む(S44)。移動マーク１０２aがある場合、移動マーク１０２ａがキー枠にかかっていれば、画像取り込み(S41)に戻り、かかっていなければ次の処理に進む(S45)。次の処理に進んだら移動マーク１０２ａを含むキーを特定、記録し(S46)、移動マーク１０２ａを含むキーの枠をハイライト表示する(S47)。(S44)で移動マーク１０２ａがなかった場合、探索範囲で決定マーク１０２bを探す(S48)。決定マーク１０２bがあれば次の処理に進み、なければ画像取り込み（S41）に戻る(S49)。決定マーク１０２ｂがある場合、決定マーク１０２bがキーの枠にかかっていなければ次の処理に進み、キー枠にかかっていれば、画像取り込み(S41)に戻る(S50)。決定マーク１０２ｂがキー枠にかかってない場合、全フレームで決定マーク１０２ｂの認識をしていれば、画像取り込み（S41）に戻り、認識していなければ次の処理に進む(S51)。次の処理で決定マーク１０２ｂの位置と前フレームで記録した移動マーク１０２ｂの位置を比較し、同じなら次の処理に進み、異なれば画像取り込み(S41)に戻る(S52)。次の処理でキー入力処理(S53)を行い、画像取り込み(S41)に戻る。
【００２０】
図７は(S33)、(S43)、(S48)に相当するマーク探索の処理のフローチャートである。マーク探索の処理は、あらかじめ探索するマークを移動マーク１０２ａにすれば移動マーク１０２ａを探索し、探索するマークを決定マーク１０２ｂにすれば決定マーク１０２ｂを探索する。まず、右目用第一仮想キーボード２０７を探索範囲と設定し(S61)、探索範囲内の検索を開始する(S62)。まず、予め登録したマークの色の塊を探し(S63)、塊があれば次の処理に進み、なければ探索に戻る(S64)。塊があれば塊の大きさを調べ、予め登録したマークの大きさを塊にあわせる(S65)。次に塊の中の特徴点を探し(S66)、予め登録したマークの特徴点と一致したら次の処理に進み、一致しなければ探索に戻る(S67)。特徴点と一致したら一致した特徴点の座標を記録して(S68)、処理を抜ける(S69)。
【００２１】
以上のように構成されたヘッドマウントディスプレイにおいて、画像処理部２０４は移動マーク１０２aと決定マーク１０２ｂの画像認識を行い、その変化を検出することでキー入力を行うため、誤認識の少ないキー入力を行うことが出来る。
（実施の形態２）
図８は、本発明の実施の形態２におけるマーク探索処理フローチャートである。図８において、図７と同じ構成については同じ符号を用い、説明を省略する。
本実施の形態では、図７の(S62)の処理と(S64)の間にキーデバイス１０１を探索する処理(S63)を付加している。この処理は、まず予め登録したキーデバイス１０１の色の塊を探し（S71）、塊があったら次に進み、なければ探索に戻る(S72)。塊があれば塊の大きさを調べ、予め登録したキーデバイス１０１の大きさをあわせる(S73)。更に塊の中からマーク表示部  
以上のように構成されたヘッドマウントディスプレイにおいて、画像処理部２０４は、キーデバイス１０１を検出した後でマーク表示部１０２を検出するので、より誤認識の少ないキー入力を行うことが出来る。
【００２２】
（実施の形態３）
図９は本発明の実施の形態３における最初のルーチンの処理フローチャート、図１０は本発明の実施の形態３におけるキー探索及び決定の処理フローチャート、図１１は本発明の実施の形態３における探索範囲決定の処理フローチャートである。図９において、図５と同じ構成については同じ符号を用い、説明を省略する。図１０において、図６と同じ構成については同じ符号を用い、説明を省略する。図１１において、図７と同じ構成については同じ符号を用い、説明を省略する。
【００２３】
本実施の形態では、図５の(S37)の処理の後で、マークを含むキーと、その周辺８キーの合計９キーを探索範囲に設定する処理(S38)を加える。また、図６の(S47)の処理の後に探索範囲を決定する処理(S54)を、また、(S49)の分岐の処理に全キーエリアでマーク探索する処理(S55)を追加する。
【００２４】
図１１は探索処理のフローチャートである。まず、全フレームと現フレームのマーク座標の差からベクトルを求める(S81)。次に、このベクトルの長さがキーの対角長の半分以下かどうかを調べ、半分以下であれば次の処理に進み、半分以下でなければ別の処理に進む(S82)。ベクトルの長さが対角長の半分以下であれば、そのマークを含む周辺９キーを探索範囲に設定する(S83)。ベクトルの長さが対角長の半分以下でなければ、現フレームのマークを含むキーを端点としてベクトル方向に横３、縦３の９キーを探索範囲として設定する(S84)。
【００２５】
以上のように構成されたヘッドマウントディスプレイでは、マーク探索前に探索範囲を決めておくことで、短時間でマーク探索を行うことができ、これにより処理時間の短縮し、消費電力を抑えることができる。
【００２６】
（実施の形態４）
図１２は、本発明の実施の形態４におけるボタン押下前の使用例、図１３は、本発明の実施の形態４におけるボタン押下後の使用例である。図１２において、図２と同じ構成については同じ符号を用い、説明を省略する。図１３において、図３と同じ構成については同じ符号を用い、説明を省略する。
【００２７】
本実施例では、マーク表示部１０２の代わりに発光マークを利用した発光マーク表示部１０４を使い、図１２のようにキー入力前は発光移動マーク１０４ａを認識し、図１３のようにキー入力時は発光決定マーク１０４ｂを認識するようにする。
【００２８】
以上のように構成されたヘッドマウントディスプレイでは、発光性マーク表示部１０４が光ることにより、夜間でもキー入力が可能になる。
【００２９】
（実施の形態５）
図１４は、本発明の実施の形態５におけるボタン押下前の使用例である。また、図１５はディスプレイを見たときに脳内で結像されたイメージを表す。図１４において、図２と同じ構成については同じ符号を用い、説明を省略する。
【００３０】
本実施例では、図１４のように右目用第一仮想キーボード２０７を右目用ディスプレイ２０６に表示し、右目用第一仮想キーボード２０７に対して視差をつける形で左目用ディスプレイ２０５に左目用第一仮想キーボード２０８を表示する。また、右目用第一仮想キーボード２０７より奥に見えるように右目用第二仮想キーボード２０９を右目用ディスプレイ２０６に表示し、左目用第一仮想キーボード２０８より奥に見えるように左目用第二仮想キーボード２１０を左目用ディスプレイ２０５に表示する。
【００３１】
図１５はこの時、液晶を見た人の脳内で結像されるイメージである。第一仮想キーボード３０１は右目用第一仮想キーボード２０７と左目用第一仮想キーボード２０８とから結像した脳内のイメージの仮想キーボードである。同様に、第二仮想キーボード３０２は右目用第二仮想キーボード２０９と左目用第二仮想キーボード２１０とから結像した脳内のイメージの仮想キーボードである。脳内ではこれらの２つの仮想キーボードは立体的に配置され、画像処理部２０４でも奥行きの計算が行える。このため、キーデバイス１０１を１０１ａの場所におけば仮想キーボード３０１のキーを認識し、キーデバイス１０１を１０１ｂの場所におけば仮想キーボード３０２のキーを認識できるようになる。
【００３２】
以上のように構成されたヘッドマウントディスプレイでは、奥行き方向に仮想キーボードを並べることができるので、より多くの種類のキー入力を行うことが可能になる。
【産業上の利用可能性】
【００３３】
本発明にかかる仮想キーボードを備えたカメラ付ヘッドマウントディスプレイは、ディスプレイをのぞいたままキー入力が行える上に、キー入力の誤入力防ぐことがきるので、液晶をのぞいたまま操作しなければいけないヘッドマウントディスプレイや電子双眼鏡、携帯電話等の用途に有用である。
【符号の説明】
【００３４】
１０１    キーデバイス
１０１ａ    第一仮想キーボードが認識できるキーデバイスの位置
１０１ｂ    第一仮想キーボードが認識できるキーデバイスの位置
１０２    マーク表示部
１０３    キー
２０１    ヘッドマウントディスプレイ端末
２０２    左目用カメラ
２０３    右目用カメラ
２０４    画像処理部
２０５    左目用ディスプレイ
２０６    右目用ディスプレイ
２０７    右目用第一仮想キーボード
２０８    キー
２０９    左目用第一仮想キーボード
２１０    右目用第二仮想キーボード
２１１    左目用第二仮想キーボード
３０１    脳内で結像された第一仮想キーボード
３０２    脳内で結像された第二仮想キーボード
４０１    データ処理装置
４０２    機器ケース
４０３    ヘッドバンド
４０４    バックライトユニット
４０５    ロッドアンテナ
４０６    電源オン・オフスイッチ
４０７    指定キー
４０８D    メニュー切換えダウン指示キー
４０８U    メニュー切換えアップ支持キー
４０９R、４０９L    ファインダ
４１０R、４１０L    拡大レンズ
４２１    拡散板
４２２R、４２２L    LCD
４２３    反射ミラー
４２４  回路基板
４２５R、４２５L    CCD
４２６R、４２６L    反射ミラー
４２７R、４２７L    回路基板
４３１    バックライト
４３２    赤外線発光ペン
４３３    電源スイッチ
４３４    発光スイッチ
４３５    発光部
４３６    発光部
S1    起動
S2    初期化処理
S3    最初のルーチン
S4    通常キー探索＆決定
S5    終了キー判定
S6    後処理
S7    停止
【図１】
2012083812.tif 000003
【図４】
2012083812.tif 000004
【図５】
2012083812.tif 000005
【図６】
2012083812.tif 000006
【図７】
2012083812.tif 000007
【図８】
2012083812.tif 000008
【図９】
2012083812.tif 000009
【図１０】
2012083812.tif 000010
【図１１】
2012083812.tif 000011
【図２】
2012083812.tif 000012
【図３】
2012083812.tif 000013
【図１２】
2012083812.tif 000014
【図１３】
2012083812.tif 000015
【図１４】
2012083812.tif 000016
【図１５】
2012083812.tif 000017