(57)【要約】【課題】  複数のキーの中から目的のキーを選択するための操作数を低減することが可能なキー入力装置を提供することを目的とする。【解決手段】  複数の階層にグループ化された複数のキーのいずれかを入力するキー入力装置において、階層の数に応じた複数の互いに異なる選択動作に対応した選択動作情報を取得するセンサデータ取得部と、センサデータ取得部で取得された選択動作情報に基づいて、複数のキーのいずれが選択されたかを判定する制御部と、制御部の判定結果に基づいて、キー入力処理を実行する実行処理部とを備える。【選択図】  図２
2015176277.tif 000002
【特許請求の範囲】
【請求項１】
複数の階層にグループ化された複数のキーのいずれかを入力するキー入力装置において、
上記階層の数に応じた複数の互いに異なる選択動作に対応した選択動作情報を取得するセンサデータ取得部と、
上記センサデータ取得部で取得された上記選択動作情報に基づいて、上記複数のキーのいずれが選択されたかを判定する制御部と、
上記制御部の判定結果に基づいて、キー入力処理を実行する実行処理部と
を備えたことを特徴とするキー入力装置。
【請求項２】
上記センサデータ取得部は、上記複数の選択動作の動作量及び動作方向の少なくとも一つを取得し、
上記制御部は、上記選択動作の動作量及び動作方向の少なくとも一つに基づいて、上記階層毎に当該階層に対応した選択項目のいずれが選択されたかを検出し、当該検出結果に基づいて、上記複数のキーのいずれが選択されたかを判定する
ことを特徴とする請求項１に記載のキー入力装置。
【請求項３】
上記制御部は、上記選択動作の動作方向に基づいて、上記選択動作が反対方向に切り替えられたことを検出し、当該検出結果に基づいて、上記キー入力処理の実行可否を判定し、
上記実行処理部は、上記制御部によりキー入力処理の実行が可能と判定された場合に、上記制御部で判定された上記キーのキー入力処理を実行する
ことを特徴とする請求項２に記載のキー入力装置。
【請求項４】
上記選択動作は、人体の一部の移動動作と、上記人体の一部の回転動作とを含むことを特徴とする請求項１に記載のキー入力装置。
【請求項５】
上記階層毎に当該階層に対応した選択項目を含む仮想オブジェクトを表示する表示部を備え、
上記制御部は、上記選択動作情報に基づいて、上記表示部を制御する表示制御部を備えた
ことを特徴とする請求項１に記載のキー入力装置。
【請求項６】
上記センサデータ取得部は、人体の一部の姿勢に対応した姿勢情報を取得し、
上記表示制御部は、上記センサデータで取得された上記人体の一部の姿勢情報に基づいて、上記仮想オブジェクトの表示及び非表示を制御する
ことを特徴とする請求項５に記載のキー入力装置。
【請求項７】
上記仮想オブジェクトは、少なくとも２つの上記階層のそれぞれの上記選択項目を同時に視認可能であることを特徴とする請求項５に記載のキー入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者の動作に基づいて複数のキーのいずれかを入力するキー入力装置に関するものである。
【背景技術】
【０００２】
従来、手の位置や姿勢などの動作データのみで操作できるキー入力装置は、キーボードやマウスといった入力用ハードウエアを据え付けづらい、デジタル家電などの機器の入力装置として有効な技術である。また、文字入力のように、多数のキーの中から繰り返しキー選択をしなくてはならない場合は、目的のキーを素早く見つけられるように、キーの表示方法を工夫することも重要である。
【０００３】
手の動作データから入力操作をする従来技術として、例えば、特許文献１や特許文献２に開示されるものがある。特許文献１には、アルファベットが英字最上段の左からＱ、Ｗ、Ｅ、Ｒ、Ｔ、Ｙの順で配列されたいわゆるＱＷＥＲＴＹキーボードを机上に投影した仮想ＱＷＥＲＴＹキーボードに対して、操作者に、入力動作をさせ、その時の指先の位置や動きから入力キーを判断する装置が開示されている。また、特許文献２には、メニュー項目が円形に配置されたパイメニューに対して、手首の捻り動作により項目を選択する装置が開示されている。
【０００４】
また、多数のキーやアイコンをグループ化して階層構造とし、操作者の操作にあわせて部分的に展開することで、キーアクセスを簡単にする技術として、従来、例えば、特許文献３や特許文献４に開示されるものがある。特許文献３には、マウスが接続されたコンピュータで、アイコンを表示部の空き領域にドラッグアンドドロップさせると、そのアイコンに関連する、情報が周囲に動的に展開表示される装置が開示されている。また、特許文献４には、タッチスクリーンを搭載した機器にて、タップやフリック動作を検出し、動作が起きた位置にあるキーに関連するキーを周囲に重畳表示して展開していくことで、一画面に表示する候補の数を少なく、かつ画面切り替えの回数も減らして、素早く入力できる装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４８４６８７１号明細書
【特許文献２】特許第４４８９８２５号明細書
【特許文献３】特開２００３-２３３４４７号公報
【特許文献４】特開２０１１-２３３０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている技術は、従来のハードウエアキーボードと同じＱＷＥＲＴＹ配列のキーボードを机上に投影して入力させるものであり、操作者にとって馴染みやすい入力方法であるが、使用環境が机上に限定されてしまう問題点がある。また快適に入力するためには両手が必要であり片手での高速入力は難しい。
【０００７】
また、特許文献２に開示されている技術は、階層化されたパイメニューの多数の項目から選択操作を行うために、１階層下のメニューに展開するごとに項目選択と実行の２種類の動作を繰り返す必要があるうえ、一階層上のメニューに戻るためにもまた別の動作をしなくてはならない。また、１種類の動作のみで素早く上下の階層を移動する操作については開示されておらず、連続的なキー入力には向かない。
【０００８】
また、特許文献１及び特許文献２に開示されている技術は、いずれも操作者の手の位置や手首の捻り角度に応じた項目が選択されるため、操作者は所定の位置や姿勢を保ったまま、選択項目の実行の為の別動作をしなくてはならない。これは、物理的なガイドが無い操作環境においては、誤入力を増大させ、操作の確実性を下げる原因になる。
【０００９】
一方、項目を階層化して効率的にアクセスさせる技術である特許文献３や特許文献４は、ハードウエアマウスやタッチパネルなどの装着を前提としており、クリックやタッチなどのイベントが無い非接触の環境でも使用できるようにすることについては開示されていない。
【００１０】
本発明は、例えば、上記のような問題点を解決するためになされたもので、非接触の環境においても、複数のキーの中から目的のキーを選択するための操作数を低減することが可能なキー入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
この発明にかかるキー入力装置は、複数の階層にグループ化された複数のキーのいずれかを入力するキー入力装置において、階層の数に応じた複数の互いに異なる選択動作に対応した選択動作情報を取得するセンサデータ取得部と、センサデータ取得部で取得された選択動作情報に基づいて、複数のキーのいずれが選択されたかを判定する制御部と、制御部の判定結果に基づいて、キー入力処理を実行する実行処理部とを備えたものである。
【発明の効果】
【００１２】
この発明のキー入力装置によれば、複数の階層にグループ化された複数のキーについて、階層の数に応じた複数の互いに異なる選択動作に対応した選択動作情報を取得し、取得した選択動作情報に基づいて、複数のキーのいずれが選択されたかを判定することにより、複数のキーの中から目的のキーを選択するための操作数を低減することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１におけるキー入力装置の構成の一例を示す構成図である。
【図２】実施の形態１におけるキー入力装置の機能構成の一例を示す機能ブロック図である。
【図３】実施の形態１におけるキー入力装置の動作の流れの一例を示すフローチャートである。
【図４】実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの一例を示す説明図である。
【図５】実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの変化の一例を示す説明図である。
【図６】実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの第１階層の変化の一例を示す説明図である。
【図７】実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの第２階層の変化の一例を示す説明図である。
【図８】実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの変化の一例を示す説明図である。
【図９】実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの変化の一例を示す説明図である。
【図１０】実施の形態２におけるキー入力装置によって表示される仮想オブジェクトの一例を示す説明図である。
【図１１】実施の形態３におけるキー入力装置によって表示される仮想オブジェクトの一例を示す説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を説明する。なお、以下の実施の形態は、本発明の一例であり、本発明は以下の実施の形態に限定されるものではない。
【００１５】
実施の形態１．
図１は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置の構成の一例を示す構成図である。
図１において、センサ１０は、人体の一部分の位置を示す位置データ及び人体の一部分の形状を示す形状データを取得する。例えば、赤外線や画像データにより手や足などの人体の一部分の位置データ及び形状のデータを取得する。
メモリ１１は、後述するキー入力装置の各機能を実現するためのプログラム又はデータを記憶するもので、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（ＨＡＲＤ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成される。
【００１６】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２は、センサ１０が取得したデータと、メモリ１１に記憶されたプログラム又はデータとを読み出し、後述するキー入力装置の各機能を実現するとともに、表示装置１３へ表示指令を出力する。
表示装置１３は、ＣＰＵ１２の表示指令に基づいて画像を提示する。例えば、ヘッドマウントディスプレイ、液晶ディスプレイ、タブレット等で構成され、操作者に視認可能な画像を提供する。
【００１７】
図２は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置の機能構成の一例を示す機能ブロック図である。図２において、キー入力装置は、センサデータ取得部２０、制御部２１、表示部２２、実行処理部２３を備える。
センサデータ取得部２０は、センサ１０からのデータに基づいて、人体の一部分の動作情報を取得する。本実施の形態では、姿勢取得部２００、平行移動変位量取得部２０１、及び、回転変位量取得部２０２を備える。
【００１８】
姿勢取得部２００は、センサ１０から形状データを取得し、人体の一部の姿勢に対応した姿勢情報を取得する。本実施の形態では、じゃんけんの「グー」、「パー」など人体の手の姿勢に対応した姿勢情報を検出する。
【００１９】
平行移動変位量取得部２０１は、センサ１０から位置データを取得し、水平、垂直、奥行き方向の３次元方向への人体の一部の平行移動による単位時間毎の変位量を検出する。本実施の形態では、手のひらの移動動作を検出する。
【００２０】
回転変位量取得部２０２は、センサ１０の位置データ及び形状データを取得し、人体の一部の回転の単位時間毎の回転量と回転方向を検出する。本実施の形態では、手首の捻り動作を検出する。
【００２１】
なお、本実施の形態において、複数のキーは、複数の階層にグループ化されており、各階層における複数のグループのいずれかが選択され、最後の階層で目的のキーが選択されると、複数のキーの中から特定のキーを選択できるものとする。すなわち、各階層における複数のグループ、又は、最後の階層での複数のキーを、それぞれ階層に対応した選択項目とし、各階層において複数の選択項目のいずれかが選択されると、複数のキーの中から、例えば、唯一のキーが特定される。
【００２２】
ここで、複数の選択項目のいずれかを選択するための選択動作は、階層毎に設定されており、それらの選択動作は互いに異なるものに設定されている。本実施の形態では、複数のキーは、３つの階層にグループ化されており、第１の階層における選択項目を選択する選択動作は、手のひらを体（胸や腹）の面と平行になるように開いた状態で、腕を体の前方に伸ばしたり、縮めたりして、手のひらを体（胸や腹）から遠ざけたり近づけたりする動作（奥行き方向の移動動作）に設定されている。第２の階層における選択項目を選択する選択動作は、手のひらを体（胸や腹）の面と平行になるように開いた状態で、腕を体の上方、下方、左方、右方等に動かして、手のひらを体（胸や腹）の面に対して平行な方向に動かす動作（平面方向の移動動作）に設定されている。第３の階層における選択項目を選択する選択動作は、手のひらを体（胸や腹）の面と平行になるように開いた状態で、手首を左右に捻る動作（回転動作）に設定されている。
【００２３】
本実施の形態においては、平行移動変位量取得部２０１が、第１の階層における選択項目を選択する選択動作である奥行き方向の移動動作に対応した選択動作情報と、第２の階層における選択項目を選択する選択動作である平面方向の移動動作に対応した選択動作情報とを取得し、回転変位量取得部２０２が第３の階層における選択項目を選択する選択動作である回転動作に対応した選択動作情報を取得する。
【００２４】
制御部２１は、センサデータ取得部２０で取得された選択動作情報に基づいて、複数のキーのいずれが選択されたかを判定する。なお、本実施の形態では、奥行き方向の移動動作、平面方向の移動動作、及び、回転動作の複数の選択動作の動作量及び動作方向の少なくとも一つに基づいて、階層毎にその階層に対応した選択項目のいずれが選択されたかを検出し、その検出結果に基づいて、複数のキーのいずれが選択されたかを判定する。また、選択動作の動作方向に基づいて、選択動作が反対方向に切り替えられたことを検出し、その検出結果に基づいて、キー入力処理の実行可否を判定する。また、制御部２１は、センサデータ取得部２０で取得された選択動作情報に基づいて、表示部２２を制御する。
【００２５】
本実施の形態において、制御部２１は、第１階層表示制御部２１０、第２階層表示制御部２１１、第３階層表示制御部２１２、キー入力判定部２１３、及び階層構造データ記憶部２１４を備える。また、キー入力判定部２１３は、表示オブジェクト変位量検出部２１５、キー選択検出部２１６、及び、選択決定判定部２１７を備える。
【００２６】
階層構造データ記憶部２１４は、複数の階層にグループ化された複数のキーの階層構造データを記憶している。本実施の形態では、複数のキーは、３つの階層にグループ化されているので、３つの階層のそれぞれについて、各階層における選択項目（複数のグループ、又は、最後の階層での複数のキー）のデータを記憶している。
【００２７】
第１階層表示制御部２１０は、姿勢取得部２００で取得された姿勢情報と、平行移動変位量取得部２０１で取得された奥行き方向の移動動作に対応した選択動作情報と、階層構造データ記憶部２１４に記憶された階層構造データとに基づいて、第１の階層の表示を制御する制御情報を出力する。本実施の形態では、奥行き方向の移動動作の動作量に基づいて、選択されている選択項目が明示されるように制御する。また、姿勢情報に基づいて表示又は非表示を制御する。
【００２８】
第２階層表示制御部２１１は、第１階層表示制御部２１０による第１の階層の表示を制御する制御情報と、姿勢取得部２００で取得された姿勢情報と、平行移動変位量取得部２０１で取得された平面方向の移動動作に対応した選択動作情報と、階層構造データ記憶部２１４に記憶された階層構造データとに基づいて、第２の階層の表示を制御する制御情報を出力する。本実施の形態では、平面方向の移動動作の動作量に基づいて、選択されている選択項目が明示されるように制御する。また、姿勢情報に基づいて表示又は非表示を制御する。
【００２９】
第３階層表示制御部２１２は、第２階層表示制御部２１１による第２の階層の表示を制御する制御情報と、姿勢取得部２００で取得された姿勢情報と、回転変位量取得部２０２で取得された回転動作に対応した選択動作情報と、階層構造データ記憶部２１４に記憶された階層構造データとに基づいて、第３の階層の表示を制御する。本実施の形態では、回転動作の動作量に基づいて、選択されている選択項目が明示されるように制御する制御情報を出力する。また、回転動作の動作量に基づいて、選択動作が反対方向に切り替えられた場合に、キー入力処理が実行されることが明示されるように制御する。また、姿勢情報に基づいて表示又は非表示を制御する。
【００３０】
キー入力判定部２１３は、第３階層表示制御部２１２による第３の階層の表示を制御する制御情報に基づいて、選択されたキーと、キー入力処理の実行される状態とを検出して、実行処理部２３を制御する。
【００３１】
表示オブジェクト変位量検出部２１５は、第３階層表示制御部２１２による第３の階層の表示を制御する制御情報に基づいて、各階層における表示の変位量を検出する。
キー選択検出部２１６は、表示オブジェクト変位量検出部２１５で検出された表示の変位量に基づいて、各階層においていずれの選択項目が選択されたかを判定することにより複数のキーのいずれが選択されたかを検出する。
選択決定判定部２１７は、表示オブジェクト変位量検出部２１５で検出された表示の変位量に基づいて、キー入力処理の実行される状態であることを検出し、その検出結果から選択項目の選択が決定されたことを判定し、実行処理部２３を制御する。
【００３２】
表示部２２は、制御部２１の制御に基づいて、階層毎にその階層に対応した選択項目を含む仮想オブジェクトを表示する。例えば、ヘッドマウントディスプレイなどの表示装置１３にキー入力操作用の仮想オブジェクトを表示するものであり、第１階層表示部２２０、第２階層表示部２２１、及び、第３階層表示部２２２を備える。
【００３３】
第１階層表示部２２０は、第１階層表示制御部２１０から出力された制御情報に基づいて、第１の階層に対応する仮想オブジェクトを表示する。第２階層表示部２２１は、第２階層表示制御部２１１から出力された制御情報に基づいて、第２の階層に対応する仮想オブジェクトを表示する。第３階層表示部２２２は、第３階層表示制御部２１２から出力された制御情報に基づいて、第３の階層に対応する仮想オブジェクトを表示する。
【００３４】
実行処理部２３は、キー入力判定部２１３の制御に基づいて、キー入力処理を実行する。
【００３５】
以上、図２に示された各構成の機能を実現するプログラム及びデータは、メモリ１１に記憶され、ＣＰＵ１２が、メモリ１１に記憶されたプログラム又はデータを適宜読み出し、センサ１０が取得したデータを用いてプログラムを実行することにより、各構成の機能が実現される。
【００３６】
なお、図１及び図２に示したキー入力装置の構成及び機能構成は、以降の実施の形態においても同様であるため、以降の実施の形態では説明を省略する。
【００３７】
次に動作について説明する。
図３は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置の動作の流れの一例を示すフローチャートである。
図４は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの一例を示す説明図である。
【００３８】
図４において、仮想オブジェクトは、アイコン４０、アイコン４１、及び、入力コントローラ４２の３種類の構成を有している。アイコン４０は、「ひらがな」、「英字」などの文字種による第１階層のキーグループ（選択項目）を示す。アイコン４１は、「ひらがな」の中の「あ行」、「か行」などの第２階層のキーグループ（選択項目）を示す。入力コントローラ４２は、「ひらがな」の「あ行」の「あ」、「い」、「う」などの第３の階層（最下層）のキー（選択項目）を示すとともに、キーの選択決定のキー入力操作が視認可能となっている。
【００３９】
また、センサデータ取得部２０によって取得される奥行き方向の移動動作の動作量に応じて、第１階層のキーグループが選択変更された状態が表示され、平面方向の移動動作の動作量に応じて、第２階層のキーグループが選択変更された状態が表示され、回転動作の動作量に応じて、第３階層のキーが選択変更された状態が表示され、キー入力処理が実行された状態が表示される。
【００４０】
図３において、まず、センサ１０が操作者の体の一部を検知し、その体の一部の姿勢に対応する形状データを出力する。そして、姿勢取得部２００が、その形状データから姿勢情報を検出する。その姿勢情報があらかじめ定められた入力開始を指示するための姿勢と一致する場合に処理が開始される（ステップＳ１）。
【００４１】
入力開始を指示するための姿勢は、人体の一部である手、指等の姿勢、ジェスチャ等、任意に設定できる。例えば手を開いたり、閉じたり、じゃんけんの「チョキ」のような姿勢に設定しても良いし、手を振るなど特定のジェスチャを設定しても良い。
【００４２】
体の一部の姿勢が入力開始を指示するための姿勢と一致すると（ステップＳ１でＹｅｓ）、表示部２２が仮想オブジェクトを表示し、初期選択の選択項目（文字グループ）を選択状態にする（ステップＳ２）。
【００４３】
図５は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの変化の一例を示す説明図である。
【００４４】
表示部２２が何も表示していない状態（図５の左側）において、操作者が、入力開始を指示するための姿勢であるじゃんけんの「パー」のような姿勢をすると、センサデータ取得部２０の姿勢取得部２００が、その姿勢の形状データから姿勢情報を検出する。その姿勢情報に基づいて、例えば、第１階層表示制御部２１０、第２階層表示制御部２１１、及び、第３階層表示制御部２１２が、操作者の手３０が入力開始を指示する姿勢に該当するかを判断する。
【００４５】
そして、入力開始を指示する姿勢に該当すると判断されると、第１階層表示制御部２１０は、第１の階層の表示である第１階層のキーグループのアイコン４０の表示を制御する制御情報を第１階層表示部２２０に出力し、第１階層表示部２２０がこれを表示する。第２階層表示制御部２１１は、第２の階層の表示である第２階層のキーグループのアイコン４１の表示を制御する制御情報を第２階層表示部２２１に出力し、第２階層表示部２２１がこれを表示する。第３階層表示制御部２１２は、第３の階層の表示である第３階層のキーの入力コントローラ４２を制御する制御情報を第３階層表示部２２２に出力し、第３階層表示部２２２がこれを表示する（図５の右側）。
【００４６】
同時に、第１階層表示制御部２１０は一覧の中の一つのアイコン４０（図示せず）を初期選択アイコンとし、第１階層表示部２２０はこのアイコンを後述する手順により選択状態表示にする。この初期選択アイコンには、毎回固定位置のアイコンを指定してもよいし、入力操作の履歴から前回の最後の入力で選択されたアイコンとしても良い。
【００４７】
アイコン４０の選択状態表示とは、アイコン４０の上に第２階層グループアイコン４１、および入力コントローラ４２を重畳表示することである。図４の例では「ひらがな」のキーグループのアイコンが選択状態にあることになる。また、重畳表示において、背面の仮想オブジェクトは画像の色を薄くするか不透明度を低くして描画する。
【００４８】
その後、操作者が、入力終了を指示するための姿勢であるじゃんけんの「グー」のような姿勢をするまで（ステップＳ３でＹｅｓ）、ステップＳ４からステップＳ１１の動作が繰り返され、キー入力がなされる（ステップＳ３でＮｏ）。なお、ステップＳ３の動作の詳細は後述する。
【００４９】
入力開始の姿勢検出後、センサ１０は操作者の体の一部を検知し、その体の一部の姿勢に対応する位置データ及び形状データを出力する。そして、姿勢取得部２００が、その形状データから姿勢情報を検出し、平行移動変位量取得部２０１が、位置データから水平、垂直、奥行き方向の３次元方向への人体の一部の平行移動による単位時間毎の変位量を検出し、回転変位量取得部２０２が、位置データ及び形状データから人体の一部の回転の単位時間毎の回転量と回転方向を検出する。
【００５０】
回転変位量取得部２０２が、人体の一部の回転の変位量（回転動作の動作量）が所定の閾値以上であるか否かを判断し（ステップＳ４）、回転変位量が所定の閾値に満たない場合に（ステップＳ４でＮｏ）、ステップＳ５に移る。
【００５１】
そして、平行移動変位量取得部２０１が、人体の一部の奥行き方向の移動の変位量（奥行き方向の移動動作の動作量）が所定の閾値以上であるか否かを判断し（ステップＳ５）、奥行き方向の移動変位量が所定の閾値以上ある場合に（ステップＳ５でＹｅｓ）、第１階層のキーグループの選択を変更する（ステップＳ６）。
【００５２】
図６は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの第１階層の変化の一例を示す説明図である。
平行移動変位量取得部２０１により、操作者の手３０が奥行き方向へ所定の閾値以上変位したことが検出されると、第１階層表示制御部２１０は、検出された変位量から、第１階層のキーグループのアイコン４０の選択を変更する。第１階層表示部２２０では、第１階層表示制御部２１０のこの選択変更の制御情報を受けて、新たに選択されたアイコンを選択状態表示とし、それ以外のアイコンを非選択状態表示とする。図６の例では、「ひらがな」のグループから「英字」のグループへ選択変更されたことになる。
【００５３】
ステップＳ５において、奥行き方向の移動変位量が所定の閾値に満たない場合に（ステップＳ５でＮｏ）、ステップＳ７に移る。そして、平行移動変位量取得部２０１が、人体の一部の平面方向の移動の変位量（平面方向の移動動作の動作量）が所定の閾値以上であるか否かを判断し（ステップＳ７）、平面方向の移動変位量が所定の閾値以上ある場合に（ステップＳ７でＹｅｓ）、第２階層のキーグループの選択を変更する（ステップＳ８）。
【００５４】
図７は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの第２階層の変化の一例を示す説明図である。
平行移動変位量取得部２０１により、操作者の手３０が奥行き以外の方向へ所定の閾値以上変位したことが検出されると、第２階層表示制御部２１１は、その変位の方向（動作方向）に基づき、第２階層のキーグループの選択を変更し、新たに選択状態となったアイコン４１を選択状態表示とし、それまで選択状態だったアイコンを非選択状態表示とする。
【００５５】
ステップＳ７において、平面方向の移動変位量が所定の閾値に満たない場合には（ステップＳ７でＮｏ）、ステップＳ３に移る。
【００５６】
第２階層のキーグループのアイコン４１の選択変更は、第２階層グループアイコンの一覧表示において、現在選択中のアイコンから見て、検出された変位の方向と同方向の位置にあるアイコンを新たな選択アイコンとすることにより行う。
【００５７】
第２階層のキーグループのアイコン４１の選択状態表示とは、選択された小グループアイコンの位置に、その小グループに属するキーを並べた入力コントローラ４２を重畳表示することである。この時、別の小グループに関して既に入力コントローラが表示されている場合はそれを非表示にする。図７の例では、「あ行」のグループから「か行」のグループへ選択変更されたことになる。
【００５８】
ステップＳ４において、回転変位量が所定の閾値以上ある場合に（ステップＳ４でＹｅｓ）、第３階層のキーの選択を変更する（ステップＳ９）。
【００５９】
図８、９は、この発明の一実施の形態を示す実施の形態１におけるキー入力装置によって表示される仮想オブジェクトの変化の一例を示す説明図である。図８は、第１階層グループ「ひらがな」の第２階層グループ「か行」に対応する入力コントローラ４２を用いた入力操作を示す。図９は、第１階層グループ「ひらがな」の第２階層グループ「あ行」に対応する入力コントローラ４２を用いた入力操作を示す。また、入力コントローラ４２は円形にキー９０が配置されたダイヤル型の形状をしており、入力決定カーソル９１を持つ。
【００６０】
図９に示された入力コントローラ４２を用いて、図９(a)の状態からキー「あ」を入力する場合、操作者は手首を所定の閾値以上反時計回りに捻ると、回転変位量取得部２０２により、操作者の手３０が反時計回りの回転方向へ所定の閾値以上変位したことが検出される。第３階層表示制御部２１２は、検出された変位量から、第３階層のキーの選択を変更し、新たに選択状態となったキー９０を選択状態表示とし、それまで選択状態だったキー９０を非選択状態表示とする。操作者は入力コントローラ４２を確認しながら手首を捻り、入力コントローラ４２を反時計周りに回し、入力決定カーソル９１とキー「あ」が重なるまで移動させる。入力決定カーソルとキー「あ」が重なると、キー「あ」が選択状態となる(図９(b))。また、入力決定がされる前であればもう一度順方向（反時計回り）に回転させることで選択をキャンセルすることもできる。
【００６１】
回転変位量取得部２０２が、人体の一部の回転の変位量（回転動作の動作量）が反対方向に切り替えられたか否かを判断し（ステップＳ１０）、反対方向に切り替えられていない場合は（ステップＳ１０でＮｏ）、ステップＳ９に戻り、反対方向に切り替えられた場合は（ステップＳ１０でＹｅｓ）キー入力が決定されたと判定する（ステップＳ１１）。
【００６２】
図９(b)の状態からキー「あ」の実行を決定する場合、操作者は手首を所定の閾値以上時計回りに捻ると、回転変位量取得部２０２は、操作者の手３０が所定の閾値以上反対の回転方向へ切り替えられたことを検出される。第３階層表示制御部２１２は、回転の反対方向への切替が検出されたことに基づいて、第３階層のキー入力処理の実行が可能と判定し、キー入力処理が実行されることが明示されるように制御する。この制御に基づいて第３階層表示部２２２が表示を行い、図９(c)の状態になる。
【００６３】
表示オブジェクト変位量検出部２１５は、第３階層表示制御部２１２による第３の階層の表示を制御する制御情報に基づいて、各階層における表示の変位量を検出する。なお、本実施の形態において、第３階層表示制御部２１２による第３の階層の表示を制御する制御情報は、第１階層表示制御部２１０、及び、第２階層表示制御部２１１による制御情報も含まれており、第３階層表示制御部２１２の制御情報に基づいて各階層における表示の変位量を検出することができるように構成されている。
表示オブジェクト変位量検出部２１５は、例えば、制御情報に基づく仮想オブジェクトの表示状態を用いて仮想オブジェクトの表示画面上での基準位置からの変位量を計算し、所定期間の変位の履歴を保存する。
【００６４】
キー選択検出部２１６は、表示オブジェクト変位量検出部２１５で検出された表示の変位量に基づいて、各階層においていずれの選択項目が選択されたかを判定することにより複数のキーのいずれが選択されたかを検出する。ここでは、キー「あ」が選択されたことが検出される。
【００６５】
また、選択決定判定部２１７は、表示オブジェクト変位量検出部２１５で検出された表示の変位量に基づいて、キー入力処理の実行される状態であることを検出し、その検出結果から選択項目の選択が決定されたことを判定し、実行処理部２３を制御する。
そして、実行処理部２３は、キー入力判定部２１３の制御に基づいて、キー入力処理を実行する。そして、キー「あ」の入力がなされる。
【００６６】
この状態からキー「お」を入力する場合は、同様に、操作者は手首を所定の閾値以上時計回りに捻る。すると、この手首の回転動作に連動して入力コントローラ４２の表示が時計まわりに回転し始める。操作者は、カーソル位置にキー「お」が重なるまで手首を回転してから反時計回りに逆回転させると、反対方向へ切り替えられたことが検出され、キー「お」の入力がなされる。また、誤ったキーを入力した場合は、「BS」キーを入力することで直前の入力を取り消すことができる。
【００６７】
仮想オブジェクトが表示されている状態で、姿勢取得部２００が検出した姿勢情報があらかじめ定められた入力終了を指示するための姿勢と一致する場合に、処理が終了となり、仮想オブジェクトは非表示となる。（ステップＳ３でＹｅｓ）。
【００６８】
仮想オブジェクトが表示されている状態において、操作者が、入力終了を指示するための姿勢であるじゃんけんの「グー」のような姿勢をすると、センサデータ取得部２０の姿勢取得部２００が、その姿勢の形状データから姿勢情報を検出する。その姿勢情報に基づいて、例えば、第１階層表示制御部２１０、第２階層表示制御部２１１、及び、第３階層表示制御部２１２が、操作者の手３０が入力終了を指示する姿勢に該当するかを判断する。
【００６９】
操作者の手３０１による入力終了を指示する姿勢を検出すると、第１階層表示制御部２１０、第２階層表示制御部２１１、第３階層表示制御部２１２は全ての仮想オブジェクトを非表示としてその制御情報をリセットし、第１階層表示部２２０と第２階層表示部２２１と第３階層表示部２２２はこれに応答して表示装置１３に反映させる。
【００７０】
入力終了を指示するための姿勢は、人体の一部である手、指等の姿勢、ジェスチャ等、入力開始動作と重複しない範囲で任意に設定できる。例えば手を開いたり、閉じたり、じゃんけんの「チョキ」のような姿勢に設定しても良いし、手を振るなど特定のジェスチャを設定しても良い。
【００７１】
以上のように、本実施の形態によれば、複数の階層にグループ化された複数のキーについて、階層の数に応じた複数の互いに異なる選択動作に対応した選択動作情報を取得し、取得した選択動作情報に基づいて、複数のキーのいずれが選択されたかを判定することにより、階層毎に設定された互いに異なる選択動作の選択動作情報によって対応する階層の選択項目のいずれかを選択することができるので、階層毎に選択した選択項目を決定するための動作を省略することができ、複数のキーの中から目的のキーを選択するための操作数を低減することが可能となる。よって、多数のキーの中から目的のキーに容易にアクセスできるので高速に連続入力することが可能となる。
すなわち、キーグループの階層毎に異なる選択動作を割り当てているため、決定動作を必要とすることなく、階層的にキーアクセス可能となる。例えば、キーグループの切り替え（第１階層の選択項目（文字種）の変更、第２階層の選択項目の変更）を３次元の手の平行移動のみで操作できるため、簡単に操作できる。
【００７２】
また、本実施の形態では、選択動作の動作量及び動作方向の少なくとも一つに基づいて、階層毎にその階層に対応した選択項目のいずれが選択されたかを検出し、その検出結果に基づいて、複数のキーのいずれが選択されたかを判定するようにした。例えば、手のひらの奥行き方向の移動動作について、手のひらの変位量に基づいて、第１の階層のキーグループの選択を変更するようにした。また、手のひらの平面方向の移動動作について、手のひらの変位方向に基づいて、第２の階層のキーグループの選択を変更するようにした。これにより、操作者の動作量又は動作方向に、キーグループ又はキーの選択状態が連動するので、入力操作が容易になる。
【００７３】
また、本実施の形態では、選択動作が反対方向に切り替えられたことを検出した場合に、キー入力処理の実行が可能と判定し、キー入力処理を実行するようにした。これにより、操作者は、選択動作を反対方向に切り替えることで選択したキーの入力実行を指示できるので、精密な操作を要求されることなく、確実に入力実行を指示することが可能となる。
例えば、入力コントローラの操作では、逆方向への切り返し位置という明確な動作ポイントでキー指定をすることで、操作者が操作の実感を得やすくなる。更に、手首を軸とした回転動作は、平行移動動作に比べてブレにくく手元でできる動作であり、これをキーの選択実行操作に使うことで入力の確実性や高速性が増す。
【００７４】
また、本実施の形態では、選択動作は、人体の一部の移動動作と、その人体の一部の回転動作とを含むようにした。例えば、選択動作として手のひらの奥行き方向の移動動作、手のひらの平面方向の移動動作、手のひらの回転動作を用いるようにした。これにより、人体の一部のみでキー入力を実現することができる。また、動作のブレを低減することができる。したがって、例えば片手でも操作可能となり、精密な操作を要求されることなく、確実に入力実行を指示することが可能となる。
【００７５】
また、本実施の形態では、階層毎にその階層に対応した選択項目を含む仮想オブジェクトを表示する表示部２２を備え、制御部２１は、操作者の選択動作に対応した選択動作情報に基づいて、表示部２２を制御するようにした。これにより、操作者の選択動作に、仮想オブジェクトの表示と、キーグループ又はキーの選択状態とが連動するので、入力操作が容易になる。
【００７６】
また、本実施の形態では、人体の一部の姿勢に対応した姿勢情報に基づいて、仮想オブジェクトの表示及び非表示を制御するようにした。これにより、例えば片手でも操作可能となり、操作が容易になる。
【００７７】
また、本実施の形態では、仮想オブジェクトは、少なくとも２つの階層のそれぞれの選択項目を同時に視認可能となるようにした。例えば、第２階層のキーグループ（文字種）のアイコンの一覧の上に第３階層の入力コントローラを重畳させて多元的に表示するようにした。これにより、キーの階層構造を視認しやすく、異なるキーグループに切り替えるにはどこへ手を動かせば良いのかが理解しやすくなるため、スムーズな操作が可能となる。
【００７８】
また、本実施の形態では、複数のキーを第１階層から第３階層の階層構造にし、操作に応じて目的のキーグループを選択的に展開して表示するようにした。これにより、一度に表示する選択項目の数を減らすことができ、操作者は、キーを発見しやすくなる。
【００７９】
また、本実施の形態では、重畳表示において、背面の仮想オブジェクトは画像の色を薄くするか不透明度を低くして描画するようにした。これにより、操作者は、現在どの操作をしているのかが視覚的にわかりやすくなる。
【００８０】
入力コントローラ上のキー配置を、入力決定カーソルの左右に均等に振り分けて配置することで、人の手首のように回転の可動域に限界がある場合でも少ない回転量でアクセスできるようになる。
【００８１】
なお、本実施の形態では、複数のキーが３つの階層にグループ化された場合について説明したが、キーが階層構造にグループ化されていればよく、階層数は３階層に限定されるものではない。
【００８２】
また、本実施の形態では、制御部２１は、表示部２２を制御する制御情報に基づいて仮想オブジェクトの変位量を検出し、その表示の変位量に基づいて、各階層においていずれの選択項目が選択されたかを判定することにより複数のキーのいずれが選択されたかを検出し、選択されたキーのキー入力処理の実行が可能であると判定する場合について説明したが、センサデータ取得部２０で取得された選択動作情報に基づいて、選択動作情報から、直接、複数のキーのいずれが選択されたかを検出し、選択されたキーのキー入力処理の実行が可能であると判定するようにしてもよい。
【００８３】
実施の形態２．
前述の実施の形態では、第２階層のキーグループのアイコンを放射線状に配置する場合について説明したが、配置方法は放射線状でなくても良い。縦横方向に順次並べるように配置する場合の実施の形態を説明する。
【００８４】
図１０は、この発明の一実施の形態を示す実施の形態２におけるキー入力装置によって表示される仮想オブジェクトの一例を示す説明図である。
図１０のように縦横方向に順次並べるように配置すれば、放射線状の配置に比べてより多くのアイコンを並べることができる。
【００８５】
実施の形態３．
前述の実施の形態では、第３階層のキーの入力コントローラの形状が円形の場合について説明したが、入力コントローラの形状は円形でなくても良い。帯状の形状をしている場合の実施の形態を説明する。
【００８６】
図１１は、この発明の一実施の形態を示す実施の形態３におけるキー入力装置によって表示される仮想オブジェクト（入力コントローラ）の一例を示す説明図である。
図１１において、コントローラは帯状の形状をしており、帯の中央部にある入力決定カーソル９１と基準位置マーカ９０１を挟んで、キー９０が等間隔で並んだ構成をしているとする。この時の帯の向き（キー配置）は図１１にあるような横方向のものに限られず、例えば縦方向に伸びた形状でも斜めに伸びた形状でも良い。
【００８７】
帯状の入力コントローラを用いたキー入力操作の手順について説明する。
操作者が手首の捻り動作によって時計回りまたは反時計回り方向に手を傾けると、実施の形態１と同様に、回転変位量取得部２０２により、操作者の手３０が時計回りまたは反時計回りの方向へ所定の閾値以上変位したことが検出される。第３階層表示制御部２１２は、検出された変位量から、第３階層のキーの選択を変更し、新たに選択状態となったキー９０を選択状態表示とし、それまで選択状態だったキー９０を非選択状態表示とする。本実施の形態では、入力コントローラ上のキーが一定速度で向かって右または左方向へ動き始める。キーは、操作者が同じ方向に手を傾けている間、もしくは一番左端のキーが入力決定カーソル９１の位置に重なるまで同じ方向へ動き続け、各時点で入力決定カーソルと重なっているキーが選択状態となる。
【００８８】
任意のキーが選択状態にあるときに操作者が手首の捻りを返し、これまでの捻り動作とは逆方向へ手を傾けると、入力コントローラ上のキーも逆方向へ切り返して動く。この時もキーは操作者が手を同方向へ傾けている間、もしくはコントローラ上最右端のキーが入力決定カーソルと重なるまで移動を続ける。そしてこの切り返し後の逆方向への変位量が所定の閾値以上になった時、回転変位量取得部２０２により、操作者の手３０が所定の閾値以上反対方向へ切り替えられたことが検出される。第３階層表示制御部２１２は、反対方向へ切り替えられたことが検出されたことに基づいて、第３階層のキー入力処理の実行が可能と判定し、キー入力処理が実行されることが明示されるように制御する。この制御に基づいて第３階層表示部２２２が表示を行う。以降、実施の形態１と同様にキー入力処理が実行される。
【００８９】
なお、帯状の入力コントローラにおいて、移動によって帯の領域から外れたキーは非表示としてもよい。もしくは、キーの配置をループ状として、例えば右端から外れたキーは左端から登場させて表示してもよい。
【００９０】
また、キー配置において、入力コントローラに含まれるキーの全てを同時に並べて表示しなくても良い。毎回、入力コントローラの帯の領域上に乗りきるキーのみを並べて表示し、キーの移動動作の際に進行方向の端のキーを帯状から外して非表示にし、もう一端から非表示となっていたキーの１つを登場させて表示することを繰り返しても良い。
【００９１】
以上のように、本実施の形態によれば、帯状の入力コントローラを用いることにより、円形の入力コントローラに比べて１つのコントローラに含められるキー数を多くできるため、回転操作という一種類の操作だけでより多くのキーが入力できるようになる。
【００９２】
実施の形態４．
前述の実施の形態では、複数のキーが３つの階層にグループ化された場合について説明したが、２つの階層にグループ化された場合の実施の形態を説明する。
【００９３】
本実施の形態において仮想オブジェクトは、第１階層の選択項目に対応した第１階層のキーグループのアイコンと、第２階層の選択項目に対応した第２階層のキーの入力コントローラで構成される。
【００９４】
実施の形態１と同様に、操作者が入力開始を指示する動作をすると、第１階層のキーグループのアイコンを表示し、任意のアイコンを初期選択アイコンとして選択状態にする。選択状態となったアイコンの上には、前述の実施の形態と同様の円形、または帯状にキー配置された入力コントローラを重畳表示する。その後、手首の捻りによる回転とその切り返し動作に応じて、前述の実施の形態と同様の手順によりキーの選択と実行処理をする。
【００９５】
以上のように、本実施の形態によれば、キー数が実施の形態１のような場合に比べて少なく、２つの階層にグループ化するだけで十分であるようなキー数である場合において、より簡単にキーアクセス可能となる。また、３次元方向に十分な操作（動作）空間がなく、２次元操作のみでキー入力操作したい場合にも対応可能となる。
【００９６】
実施の形態５．
実施の形態１では、手の奥行き方向への変位量で第１階層のキーグループのアイコンを選択し、奥行き以外の２次元方向への変位量で第２階層のキーグループのアイコンを選択するとしたが、各操作をするための移動方向は必ずしもこの組み合わせでなくとも良い。例えば、垂直方向への変位量で第１階層グループアイコンを選択し、それ以外の２次元方向への変位量で第２階層グループアイコン選択するとしてもよい。このようにすることで、表示装置が下方向にある場合や垂直方向への操作可能な空間領域が限られている場合など、水平及び奥行き平面でグループ展開操作したい場合にも対応できる。
【００９７】
実施の形態６．
実施の形態１では、第１階層のキーグループのアイコンを縦横の２次元に並べたが、奥行き方向へ並べる表示方法でも良い。この場合、第２階層のキーグループのアイコン、及び入力コントローラは例えば対象の第１階層のキーグループのアイコンの上にポップアップするような形で表示する。こうすることで、実際の操作と視覚的に同調した表示が可能となり、第１階層のキーグループの選択変更をより直感的に行うことができる。
【００９８】
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、人体の手による操作を足による操作としても良い。こうすることで、手の不自由な操作者にとっても操作可能な装置となる。
【符号の説明】
【００９９】
１０  センサ、１１  メモリ、１２  ＣＰＵ、１３  表示装置、２０  センサデータ取得部、２１  制御部、２２  表示部、２３  実行処理部、２００  姿勢取得部、２０１  平行移動変位量取得部、２０２  回転変位量取得部、２１０  第１階層表示制御部、２１１  第２階層表示制御部、２１２  第３階層表示制御部、２１３  キー入力判定部、２１４  階層構造データ記憶部、２１５  表示オブジェクト変位量検出部、２１６  キー選択検出部、２１７  選択決定判定部、２２０  第１階層表示部、２２１  第２階層表示部、
２２２  第３階層表示部。
【図１】
2015176277.tif 000003
【図２】
2015176277.tif 000004
【図３】
2015176277.tif 000005
【図４】
2015176277.tif 000006
【図５】
2015176277.tif 000007
【図６】
2015176277.tif 000008
【図７】
2015176277.tif 000009
【図８】
2015176277.tif 000010
【図９】
2015176277.tif 000011
【図１０】
2015176277.tif 000012
【図１１】
2015176277.tif 000013