【手続補正書】
【提出日】平成30年3月5日(2018.3.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
従来より、メガネ型や頭部装着型などの情報通信端末において、視界の表示部に、外視野スルー像と重畳して、仮想キーボードを表示し、外視野カメラ映像から手指と仮想キーとの位置関係を検出し、手指が仮想キー相当位置に打鍵する姿勢動作を識別して、打鍵入力されたキーに対応する文字やコマンドを入力できるようにするとともに、入力結果を仮想表示部に表示し、入力に応じた処理を実行する技術が、特許文献１及び特許文献２に記載されている。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
しかしながら、特許文献１及び特許文献２に記載の技術では、仮想表示するキーボードは、個人の嗜好の違いなどにより、必ずしも使いやすいものではなかった。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
前記目的を達成するため、本発明の仮想入力装置の一態様は、
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置であって、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段と、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段と、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の入力方法の一態様は、
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置において、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像ステップと、
前記撮像ステップによって撮像される領域内で行う所定の形状又は所定の動作を検出する検出ステップと、
前記検出ステップによって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定ステップと、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置を制御するコンピュータを、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段を制御する撮像制御手段、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段、
として機能させる、
ことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する際において必要なデータ等も適宜記憶される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
詳細には、仮想入力装置１では、仮想キーボードの動作として・起動（１）・打鍵入力（２）・仕様変更（３）・終了（４）を行うことができる。
図２は、姿勢動作に応じた仮想キーボードの選択／指定（表示）や仕様の変更の対応動作の具体例について説明するための模式図である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
（３−３）仮想キーボードの拡大・縮小
仮想キーボードの大きさを、増減や拡大縮小するように変更して、自由に設定できる。例えば、向い合わせた両手を左右に開く、すぼめる姿勢動作等で行う。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
（４）終了
打鍵の終了を示す所定の姿勢動作（ジェスチャー）により、仮想キーボードの処理を終了する。
仮想キーボードを終了するための姿勢や動作とは、以下の図２の例に示すようなものがある。
片手の掌を手前にして握ったような姿勢（キーボードを閉じる姿勢動作）から、手を広げたような姿勢にする。その結果、仮想キーボードが表示から消える（仮想キーボード表示の終了）。また、キーボードを閉じる姿勢動作に続けて、掌を上に開き、空中に捨てるようにしたり霧消したりさせたりする。
また、その他にも、「さよなら」を示す動作姿勢となるように手を振ったり、両手の掌を左右から近づけて、キーボードを縮め／畳み／つぶしたり、片手の掌を閉じたり（テンキーを終了）するように構成できる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
仮想キーボード入力処理を実行する場合には、図３に示すように、ＣＰＵ１１において、撮像制御部５１と、手指検出処理部５２と、入力管理部５３と、ジェスチャー認識部５４と、仮想キーボード設定処理部５５と、出力制御部５６と、が機能する。
また、記憶部１９の一領域には、仮想キーボード情報記憶部７１が設定される。
仮想キーボード情報記憶部７１には、仮想キーボードの画像や仮想キーボードの設定に関する情報（以下、「仮想キーボード情報」という。）が記憶される。具体的には、仮想キーボード情報記憶部７１には、図２の例に示すような姿勢動作（ジェスチャー）に対応した仮想キーボード情報が記憶される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
仮想キーボード設定処理部５５は、仮想キーボードの入力の開始のジェスチャーが認識された場合には、画像を解析して、両手の掌の位置・幅、各手の指先の位置、ピッチを計測して、掌や指先の位置に応じたサイズの仮想キーボードを設定する。仮想キーボードの設定は、仮想キーボード情報記憶部７１に仮想キーボード情報として記憶される。
また、仮想キーボード設定処理部５５は、キー押し動作のジェスチャーが認識された場合には、キーの打鍵／離鍵に応じて、キー入力処理を実行する。その結果、対応するキーの入力が行われる。
また、仮想キーボード設定処理部５５は、仮想キーボードの仕様の変更のジェスチャーであった場合には、仮想キーボードの仕様の変更のジェスチャーの態様に応じて、ジェスチャーに対応するキー仕様（英字キー／カナキー／１０キー／電話キー等）に変更する。
また、仮想キーボード設定処理部５５は、仮想キーボードの位置、向き、サイズの変更のジェスチャーが認識された場合には、仮想キーボードの位置、向き、サイズの変更のジェスチャーの態様に応じて、ジェスチャーに対応する位置、向き、サイズに変更する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
ステップＳ１５において、手指検出処理部５２は、手指のジェスチャーの検出を容易にするために、ジェスチャー検出の前処理として、手指画像における背景画像の除去、手指以外の画像を除去し、両手画像の分離する処理を実行する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
ステップＳ４１において、ジェスチャー認識部５４は、ジェスチャー認識の結果、認識されたジェスチャーが仮想キーボード入力終了のジェスチャーが検出されたか否かを判定する。
仮想キーボード入力終了のジェスチャーでなかった場合には、ステップＳ４１においてＮＯと判定されて、処理はステップＳ４４に進む。ステップＳ４４以降の処理は後述する。
仮想キーボード入力終了のジェスチャーであった場合には、ステップＳ４１においてＹＥＳと判定されて、処理はステップＳ４２に進む。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
このように構成される仮想入力装置１は、複数の入力キーを備える仮想キーボードの仮想キーボード領域が所定の面に形成されており、手指による仮想キーボード設定領域への操作を行うことで情報を入力する装置であり、外視野用撮像部１６−１と、ジェスチャー認識部５４と、仮想キーボード設定処理部５５と、を備える。
外視野用撮像部１６−１は、仮想キーボード領域よりも広い領域を撮像する。
ジェスチャー認識部５４は、外視野用撮像部１６−１によって撮像される領域内で行う手指による所定の形状又は所定の動作姿勢を認識する。
仮想キーボード設定処理部５５は、ジェスチャー認識部５４によって検出された手指による所定の形状又は所定の動作に応じて仮想キーボードの仕様を設定する。
これにより、仮想入力装置１においては、仮想キーボードの仕様を、ユーザの手指の動作姿勢に応じて決定するために、手指の動作姿勢によって、ユーザの所望どおりに仮想キーボードの仕様を決定できる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
仮想キーボード設定処理部５５は、ジェスチャー認識部５４によって検出される手指の所定の動作姿勢と、あらかじめ対応づけされた条件と、に基づいて、仮想キーボードの仕様を設定する。
これにより、仮想入力装置１においては、仮想キーボードの仕様を、手指の所定の動作姿勢に対応付けて設定することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
仮想キーボード設定処理部５５は、仮想キーボードの種類、設定領域、形状、向き、キー配列の仕様のうちの少なくともいずれか一つを設定する。
これにより、仮想入力装置１においては、種々の仮想キーボードの仕様を変更することができる。
【手続補正１５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置であって、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段と、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段と、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段と、
を備える、
ことを特徴とする仮想入力装置。
【請求項２】
前記検出手段は、通常のデータ入力の操作とは異なる前記所定の形状又は前記所定の動作を検出する、
ことを特徴とする請求項１記載の仮想入力装置。
【請求項３】
前記検出手段は、通常のデータ入力の操作を行う領域を含んで通常のデータ入力の操作を行う領域よりも広い領域で前記所定の形状又は前記所定の動作を検出する、
ことを特徴とする請求項１又は２記載の仮想入力装置。
【請求項４】
前記検出手段は、前記仮想入力機器への通常のデータ入力の操作モードと、前記仮想入力機器の前記仕様の設定操作モードと、の切り替えを所定のショートカット操作で検出する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の仮想入力装置。
【請求項５】
前記検出手段は、前記所定の動作として、形状の変化、位置の変化、動作速度のうちの少なくともいずれか一つを検出する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の仮想入力装置。
【請求項６】
前記設定手段は、前記検出手段によって検出される前記所定の形状又は前記所定の動作と、あらかじめ対応づけされた条件と、に基づいて、前記仮想入力機器の前記仕様を設定する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の仮想入力装置。
【請求項７】
前記設定手段は、前記仮想入力機器の種類、設定領域、形状、向き、キー配列の仕様のうちの少なくともいずれか一つを設定する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の仮想入力装置。
【請求項８】
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置において、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像ステップと、
前記撮像ステップによって撮像される領域内で行う所定の形状又は所定の動作を検出する検出ステップと、
前記検出ステップによって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定ステップと、
を含む、
ことを特徴とする入力方法。
【請求項９】
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置を制御するコンピュータを、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段を制御する撮像制御手段、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段、
として機能させる、
ことを特徴とするプログラム。
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2016177658.tif 000001