(57)【要約】  実物たるキーボードを有さない仮想的な入力装置であっても、当該実物のキーボードにより近い動作を実現することが可能な入力装置を提供する。  指の空間的なキー入力動作を検出して、キー入力動作に対応する入力コードを出力する仮想キーボード装置において、利用者の装着部に装着され、キー入力動作に伴って変化する動作信号５０を出力する指センサと、動作信号５０に基づいてキー入力動作の対象たるキーを識別する動作判断部３４１と、各キーについて、現在押下状態であるか否かを記憶する押下状態保持部３４２と、を備え、指の押下動作の有無と引き上げ動作の有無とを別個に判断する。
2010113786.tif 000002
【特許請求の範囲】
【請求項１】
指の空間的な入力動作を夫々検出し、当該検出した入力動作の対象たるキーを示す入力コードを出力する入力装置において、
利用者の指又は手の少なくともいずれか一方に設けられた装着部に装着され、前記指の前記入力動作に伴って変化する検出信号を出力する検出手段と、
前記出力された検出信号に基づいて、前記入力動作を開始させる前記指の入力開始動作がされたか否かを検出する第１動作検出手段と、
前記入力開始動作がされたことが検出された場合において、当該検出された入力開始動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力開始動作がされたことを示す前記入力コードである入力開始コードを出力する第１コード出力手段と、
前記入力開始動作がされたことが検出された後において、当該入力動作を終了させる前記指の入力終了動作の有無を前記出力された検出信号に基づいて検出する第２動作検出手段と、
前記入力終了動作がされたことが検出された場合において、当該検出された入力終了動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力終了動作がされたことを示す前記入力コードである入力終了コードを出力する第２コード出力手段と、
を備えることを特徴とする入力装置。
【請求項２】
請求項１に記載の入力装置において、
前記入力開始動作に相当する前記検出信号のパターンを示す入力開始動作パターン情報と、前記入力終了動作に相当する前記検出信号のパターンを示す入力終了動作パターン情報と、を夫々別個に記憶するパターン情報記憶手段を更に備え、
前記第１動作検出手段及び前記第１コード出力手段は、前記出力された検出信号により示される検出入力開始動作パターンと前記入力動作パターン情報により示される記憶入力開始動作パターンとを比較して前記入力開始動作の検出及び当該検出された入力開始動作の対象たる前記キーの識別を行い、
前記第２動作検出手段及び前記第２コード出力手段は、前記出力された検出信号により示される検出入力終了動作パターンと前記終了動作パターン情報により示される記録入力終了動作パターンとを比較して前記入力終了動作の検出及び当該検出された入力終了動作の対象たる前記キーの識別を行うことを特徴とする入力装置。
【請求項３】
請求項２に記載の入力装置において、
前記入力開始動作がされたことが検出されたとき当該検出された入力開始動作の対象たる前記キーについて入力開始状態であることを記憶し、前記入力終了動作がされたことが検出されたとき当該検出された入力終了動作の対象たる前記キーについて入力終了状態であることを記憶する動作記憶手段を更に備え、
前記第１コード出力手段は、前記入力開始動作がされたことが検出され、且つ当該検出された入力開始動作の対象たる前記キーについて前記入力終了状態であることが前記動作記憶手段に記憶されている場合にのみ、前記検出された入力開始動作の対象たる前記キーを識別して当該識別されたキーを示す前記入力開始コードを出力し、
前記第２コード出力手段は、前記入力終了動作がされたことが検出され、且つ当該検出された入力終了動作の対象たる前記キーについて前記入力開始状態であることが前記動作記憶手段に記憶されている場合にのみ、前記検出された入力終了動作の対象たる前記キーを識別して当該識別されたキーを示す前記入力終了コードを出力することを特徴とする入力装置。
【請求項４】
請求項３に記載の入力装置において、
各前記検出手段は、前記利用者の各前記指に夫々装着されており、
前記第２動作検出手段は、前記入力終了動作の検出対象たる前記キーについて前記入力開始状態であることが前記動作記憶手段に記憶されているとき、前記入力終了動作を行う一の前記指に装着されている前記検出手段から出力された前記検出信号のみに基づいて、当該入力終了動作の検出を行うことを特徴とする入力装置。
【請求項５】
請求項１から４のいずれか一項に記載の入力装置において、
前記第１動作検出手段は前記入力開始動作が継続されていることを検出し、
前記第１動作検出手段により継続した前記入力開始動作が検出されたとき、前記第１コード出力手段および前記第２コード出力手段は、前記入力開始コードの出力および前記入力終了コードの出力を交互に繰り返すことを特徴とする入力装置。
【請求項６】
指の空間的な入力動作を夫々検出し、当該検出した入力動作の対象たるキーを示す入力コードを出力する入力装置であって、利用者の指又は手の少なくともいずれか一方に設けられた装着部に装着され、前記指の前記入力動作に伴って変化する検出信号を出力する検出手段を備えた入力装置に含まれるコンピュータを、
前記出力された検出信号に基づいて、前記入力動作を開始させる前記指の入力開始動作がされたか否かを検出する第１動作検出手段、
前記入力開始動作がされたことが検出された場合において、当該検出された入力開始動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力開始動作がされたことを示す前記入力コードである入力開始コードを出力する第１コード出力手段、
前記入力開始動作がされたことが検出された後において、当該入力動作を終了させる前記指の入力終了動作の有無を前記出力された検出信号に基づいて検出する第２動作検出手段、及び、
前記入力終了動作がされたことが検出された場合において、当該検出された入力終了動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力終了動作がされたことを示す前記入力コードである入力終了コードを出力する第２コード出力手段、
として機能させることを特徴とする入力装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置及び入力装置用プログラムの技術分野に属する。より詳細には、指の空間的な動きに伴って変化する検出信号を検出し、その検出信号に対応する入力コードを出力する入力装置及び当該入力装置用のプログラムの技術分野に属する。
【背景技術】
【０００２】
入力装置の一種として仮想キーボード装置が提案されている。仮想キーボード装置はキーボードの配置のためのスペースが不要であるという特徴を有する。下記特許文献１に開示されている技術では、手の機能が制限されている使用者の指にセンサを取り付けている。センサにより、センサが取り付けられた指の動きを検出することによって、どのキーが押されたかをシミュレートしている。【０００３】
実物のキーボード装置の特定のキーについては、複数のキーの同時押しにより、夫々のキーを独立して押下した場合とは異なる入力コードを出力するように構成されている。例えば、キーボード装置をコンピュータの入力装置として用いる場合、「CTRL」キーと「ALT」キーと「DEL」キーの同時押しにより、キーボード装置が接続されているコンピュータの再起動に相当する入力コードを出力するように構成されている。【０００４】
上記特許文献１に記載されている技術では、両手を一組として同時押しを判定している。具体的に例えば、左手のいずれかの指と右手のいずれかの指とが同時に押下状態となったか否かを検出することにより、同時押しを判定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００６−５０３３５０公報（段落番号［００７３］乃至［００８１］参照）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１には、一方の手の指の範囲内で複数のキーを押下する同時押しについては開示がない。更に、上記特許文献１に記載されている技術における当該同時押しを実現するための手法では、一定の時間内に押下動作を行わなければならない。よって、使用者の操作性が低下する場合があるという問題点もあった。【０００７】
そこで、本発明は上記の問題点に鑑みて為されたもので、本発明の目的の一例は、実物たるキーを有さずに空間的な指の動作を検出して入力コードを出力する入力装置であっても、実物のキーボード装置と同様に複数のキーの同時操作又は同一キーの繰り返し操作等を実現することが可能な入力装置及び当該入力装置用のプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明は、指の空間的な入力動作を夫々検出し、当該検出した入力動作の対象たるキーを示す入力コードを出力する入力装置において、利用者の指又は手の少なくともいずれか一方に設けられた装着部に装着され、前記指の前記入力動作に伴って変化する検出信号を出力する指センサ等の検出手段と、前記出力された検出信号に基づいて、前記入力動作を開始させる前記指の入力開始動作がされたか否かを検出する動作判断部等の第１動作検出手段と、前記入力開始動作がされたことが検出された場合において、当該検出された入力開始動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力開始動作がされたことを示す前記入力コードである入力開始コードを出力する動作判断部等の第１コード出力手段と、前記入力開始動作がされたことが検出された後において、当該入力動作を終了させる前記指の入力終了動作の有無を前記出力された検出信号に基づいて検出する動作判断部等の第２動作検出手段と、前記入力終了動作がされたことが検出された場合において、当該検出された入力終了動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力終了動作がされたことを示す前記入力コードである入力終了コードを出力する動作判断部等の第２コード出力手段と、を備える。【０００９】
本発明は、上記入力装置において、前記入力開始動作に相当する前記検出信号のパターンを示す入力開始動作パターン情報と、前記入力終了動作に相当する前記検出信号のパターンを示す入力終了動作パターン情報と、を夫々別個に記憶する動作パターン辞書部等のパターン情報記憶手段を更に備え、前記第１動作検出手段及び前記第１コード出力手段は、前記出力された検出信号により示される検出入力開始動作パターンと前記入力動作パターン情報により示される記憶入力開始動作パターンとを比較して前記入力開始動作の検出及び当該検出された入力開始動作の対象たる前記キーの識別を行い、前記第２動作検出手段及び前記第２コード出力手段は、前記出力された検出信号により示される検出入力終了動作パターンと前記終了動作パターン情報により示される記録入力終了動作パターンとを比較して前記入力終了動作の検出及び当該検出された入力終了動作の対象たる前記キーの識別を行うように構成される。【００１０】
本発明は、上記入力装置において、前記入力開始動作がされたことが検出されたとき当該検出された入力開始動作の対象たる前記キーについて入力開始状態であることを記憶し、前記入力終了動作がされたことが検出されたとき当該検出された入力終了動作の対象たる前記キーについて入力終了状態であることを記憶する押下状態保持部等の動作記憶手段を更に備え、前記第１コード出力手段は、前記入力開始動作がされたことが検出され、且つ当該検出された入力開始動作の対象たる前記キーについて前記入力終了状態であることが前記動作記憶手段に記憶されている場合にのみ、前記検出された入力開始動作の対象たる前記キーを識別して当該識別されたキーを示す前記入力開始コードを出力し、前記第２コード出力手段は、前記入力終了動作がされたことが検出され、且つ当該検出された入力終了動作の対象たる前記キーについて前記入力開始状態であることが前記動作記憶手段に記憶されている場合にのみ、前記検出された入力終了動作の対象たる前記キーを識別して当該識別されたキーを示す前記入力終了コードを出力するように構成される。【００１１】
本発明は、上記入力装置において、各前記検出手段は、前記利用者の各前記指に夫々装着されており、前記第２動作検出手段は、前記入力終了動作の検出対象たる前記キーについて前記入力開始状態であることが前記動作記憶手段に記憶されているとき、前記入力終了動作を行う一の前記指に装着されている前記検出手段から出力された前記検出信号のみに基づいて、当該入力終了動作の検出を行うように構成される。
本発明は、上記入力装置において、前記第１動作検出手段は前記入力開始動作が継続されていることを検出し、前記第１動作検出手段により継続した前記入力開始動作が検出されたとき、前記第１コード出力手段および前記第２コード出力手段は、前記入力開始コードの出力および前記入力終了コードの出力を交互に繰り返すように構成される。【００１２】
本発明は、指の空間的な入力動作を夫々検出し、当該検出した入力動作の対象たるキーを示す入力コードを出力する入力装置であって、利用者の指又は手の少なくともいずれか一方に設けられた装着部に装着され、前記指の前記入力動作に伴って変化する検出信号を出力する指センサ等の検出手段を備えた入力装置に含まれるコンピュータを、前記出力された検出信号に基づいて、前記入力動作を開始させる前記指の入力開始動作がされたか否かを検出する第１動作検出手段、前記入力開始動作がされたことが検出された場合において、当該検出された入力開始動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力開始動作がされたことを示す前記入力コードである入力開始コードを出力する第１コード出力手段、前記入力開始動作がされたことが検出された後において、当該入力動作を終了させる前記指の入力終了動作の有無を前記出力された検出信号に基づいて検出する第２動作検出手段、及び、前記入力終了動作がされたことが検出された場合において、当該検出された入力終了動作の対象たる前記キーを識別し、当該識別されたキーについて当該入力終了動作がされたことを示す前記入力コードである入力終了コードを出力する第２コード出力手段、として機能させる。
【発明の効果】
【００１３】
本発明によれば、入力開始動作がされたことと、入力終了動作がされたことと、を別個に検出し、夫々に対応した入力開始コード又は入力終了コードを出力するので、キーについての入力開始動作とその入力終了動作とを別個に検出することで、指単位で複数のキーの同時操作又は同一キーの繰り返し操作等に対応する入力コードを正確に出力することができる。【００１４】
本発明によれば、入力開始動作がされたことと、入力終了動作がされたことと、を別個に検出し、夫々に対応した入力開始コード又は入力終了コードを出力するようにコンピュータが機能するので、キーについての入力開始動作とその入力終了動作とを別個に検出することで、指単位で複数のキーの同時操作又は同一キーの繰り返し操作等に対応する入力コードを正確に出力することができる。【００１５】
従って、本発明によれば、実物たるキーを有さずに空間的な指の動作を検出して入力コードを出力する入力装置であっても、実物のキーボード装置と同様に複数のキーの同時操作又は同一キーの繰り返し操作等を実現することができる。【００１６】
本発明によれば、上記効果に加えて、入力開始動作パターン情報と入力終了動作パターン情報とを夫々別個に記憶し、検出信号とこれらとの比較により入力開始動作及び入力終了動作夫々の検出並びに対応する夫々のキーの識別を行うので、より正確に当該入力動作の検出等を行うことができる。【００１７】
本発明によれば、上記効果に加えて、入力開始動作がされたことが検出された場合に当該入力開始動作の対象たるキーを示す入力開始コードが出力された後の状態であることを記憶し、入力終了動作がされたことが検出された場合に当該入力終了動作の対象たるキーを示す入力終了コードが出力された後の状態であることを記憶すると共に、入力開始動作がされたことが検出され且つ当該検出された入力開始動作の対象たるキーを示す入力終了コードが出力された後の状態であることが記憶されている場合にのみ、当該入力開始動作の対象たるキーを識別して対応する入力開始コードを出力し、更に入力終了動作がされたことが検出され且つ当該検出された入力終了動作の対象たるキーを示す入力開始コードが出力された後の状態であることが記憶されている場合にのみ、当該入力終了動作の対象たるキーを識別して対応する入力終了コードを出力するので、キーの識別処理の実行を限定的に行うことで入力装置としての処理を軽減することができる。【００１８】
本発明によれば、上記効果に加えて、入力開始コードが出力状態であるか又は入力終了コードが出力状態であるかを記憶すると共に、入力終了動作の検出を行う場合において当該検出対象たるキーを示す入力開始コードが出力状態であることが記憶されているとき、当該入力終了動作を行う一の指に装着されている検出手段から出力された検出信号のみに基づいて当該入力終了動作の検出を行うので、入力開始状態であることが記憶されている場合における入力終了動作の検出処理の負担を軽減することができる。
本発明によれば、上記効果に加えて、継続した入力開始動作が検出されたとき、入力開始コードの出力および入力終了コードの出力を交互に繰り返すので、入力終了動作が実行されずに継続して入力開始動作が継続されているときでも、その動作に対応したコードを出力することができる。
【図面の簡単な説明】
【００１９】
【図１】仮想キーボード装置の構成を示す図である。
【図２】仮想キーボード装置の他の構成を示す図である。
【図３】指センサを示す図である。
【図４】静止状態での指センサの出力電圧を示すグラフ図である。
【図５】キー押下げ時における指センサの出力電圧を示すグラフ図である。
【図６】パターン判断部を含む入力コード出力部の構成を示す図である。
【図７】仮想キーボード装置の学習動作を示すフローチャート図である。
【図８】仮想キーボード装置を含む入力システムを示す図である。
【図９】実施形態に係る動作パターン判断部の構成を示すブロック図等であり、（ａ）は当該ブロック図であり、（ｂ）は当該動作パターン判断部の動作を示すフローチャートである。
【図１０】実施形態に係るリピート動作を示すフローチャートである。
【発明を実施するための形態】
【００２０】
（Ｉ）仮想キーボード装置の概略
図１において、利用者である入力操作者の左手１０Ｌ及び右手１０Ｒの装着部の一例としての指１４−１乃至１４−５及び１４−６乃至１４−１０には、夫々、検出手段の一例としての指センサ１６−１乃至１６−５及び１６−６乃至１６−１０が装着されている。
【００２１】
指センサ１６は、指の空間的な動作に伴って変化する動作信号を検出するセンサである。指センサ１６は、例えば、加速度センサ又はジャイロセンサから構成されている。
【００２２】
左手１０Ｌ及び右手１０Ｒの例えば手の甲には、夫々、データ収集部１８及び２０が装着されている。データ収集部１８及び２０には、指センサ１６−１乃至１６−５及び１６−６乃至１６−１０からの動作信号がハーネス２２−１乃至２２−５及び２２−６乃至２２−１０を介して供給される。データ収集部１８及び２０は、夫々、無線部２４及び２６を有している。無線部２４及び２６からの動作信号は、入力コード出力部２８における無線部３０に受信される。データ収集部１８及び２０に収集された動作信号はハーネスなどの有線を介して、入力コード出力部２８に受信されてもよい。
【００２３】
入力コード出力部２８は、無線部３０に加え、パターン情報記憶手段としての動作パターン辞書部３２と、動作パターン判断部３４と、を備えている。
【００２４】
動作パターン辞書部３２は、指の動作信号のパターンを示すパターン情報を記憶する。パターン情報は、「押下動作」に関するパターン情報と、「引き上げ動作」に関するパターン情報とが、同一のキー及び指１４について別個に記憶されている。
【００２５】
一方、動作パターン判断部３４は、動作パターン辞書部３２に記憶されているパターン情報に対応する動作信号と、無線部３０から供給された動作信号とを比較する。動作パターン判断部３４は、検出された動作信号に対応する入力コードを出力する。
【００２６】
動作パターン判断部３４から出力された入力コードは、入力コード出力部２８に設けられた無線部３６から文字表示器３８の無線部４０に送信される。文字表示器３８は、表示部４２を有している。表示部４２には、指の動作により入力された入力コードとして例えば文字コード４４が表示される。入力コード出力部２８と文字表示器３８は、有線で接続され、通信されてもよい。
【００２７】
仮想キーボード装置の構成の他の例を図２を用いて説明する。図２の構成では、データ収集部が設けられていない。指センサ１６−１乃至１６−５及び１６−６乃至１６−１０からの動作信号は、ハーネス２２−１乃至２２−５及び２２−６乃至２２−１０を介して、入力コード出力部２８の動作パターン判断部３４に供給される。
【００２８】
図３において、指センサ１６は、三軸加速度センサであり、Ｘ軸、Ｙ軸及びＺ軸の夫々について指の動作による加速度を検出する。Ｚ軸は重力加速度の方向５４を示す。
【００２９】
図４においてＺ軸方向の出力電圧は、Ｘ軸方向及びＹ軸方向の出力電圧と比較して、符号４６で示すような重力加速度分だけ異なる。
【００３０】
実施形態に係る仮想キーボードにおいて文字「Ｑ」のキーを押下げるように左手１０Ｌの指を動作させた場合、各指センサ１６の出力電圧は例えば図５に示すものとなる。本発明に係る仮想キーボード装置のキー配列は、いわゆるＪＩＳ（Japanese Industrial Standard）配列を採用している。また、小指１４−５、薬指１４−４及び親指１４−１に装着された各指センサ１６のＸ軸方向、Ｙ軸方向及びＺ軸方向の出力電圧は、例えば図５の上段、中段及び下段のグラフに夫々示すものとなる。他の指に装着された指センサ１６のＸ軸方向、Ｙ軸方向及びＺ軸方向の出力電圧については、図示を省略する。
【００３１】
図５において、符号４８で示したような文字「Ｑ」のキーを押し下げている時間には、小指１４−５の動作が大きい。即ち、図５の上段に示されるように、小指１４−５に装着された指センサ１６のＸ軸方向、Ｙ軸方向及びＺ軸方向の出力電圧の変化は、他の指に装着された指センサ１６のＸ軸方向、Ｙ軸方向及びＺ軸方向の出力電圧の変化と比較して大きい。
【００３２】
図６において、例えば左手１０Ｌについて、上述したように各指１４の夫々に指センサ１６が装着される。一つの指センサ１６は、Ｘ軸、Ｙ軸及びＺ軸の三軸の動作信号を出力する。従って、動作パターン判断部３４には、５×３＝１５個の動作信号５０が供給される。
【００３３】
実施形態の仮想キーボード装置では、１５個の動作信号５０のデータを、ニューラルネットワークを用いて各文字５２にマッピングする学習によって、動作パターン辞書部３２における辞書パターンを作成又は更新する。
【００３４】
図７において、ステップＳ１０で、入力操作者によって仮想キーボード装置の電源がオンとされると、動作パターン判断部３４はステップＳ１２に進む。ステップＳ１２で、入力操作者の判断により学習モードであると、動作パターン判断部３４はステップＳ１４に進む。ステップＳ１４で、入力操作者などにより、キーボードが入力コード出力部２８に接続されることとなる。
【００３５】
ステップＳ１６で、キーボードによって入力操作者などから打鍵入力を受け付ける。ステップＳ１８で、動作パターン判断部３４は、打鍵時の指センサ１６の加速度ベクトルデータの読み込みを行う。ステップＳ２０で、動作パターン判断部３４は、加速度ベクトルデータの必要個所のデータ加工を行う。データ加工は、例えば加速度ベクトルデータの変化時点から±５００ｍｓにおいて行われる。
【００３６】
ステップＳ２２で、動作パターン判断部３４は、キーボードで打鍵されたキーとデータ加工されたデータとからニューラルネットワークで学習を行う。ステップＳ２４で、動作パターン判断部３４は、動作パターン辞書部３２に新しい辞書パターンを構築する。ステップＳ２６で、入力操作者の判断により学習終了が指示されないと、動作パターン判断部３４は、ステップＳ１６に戻って処理を繰り返す。一方、ステップＳ２６で、入力操作者の判断により学習終了が指示されると、動作パターン判断部３４はステップＳ２８に進む。ステップＳ１２で入力操作者の判断により学習モードでないと、動作パターン判断部３４はステップＳ２８に進む。
【００３７】
ステップＳ２８で、動作パターン判断部３４は、指センサ１６の加速度ベクトルデータの読み込みを行う。ステップＳ３０で、動作パターン判断部３４は、加速度ベクトルデータをデータテーブル値と比較し、手、指が動いたか否かが判断される。
【００３８】
ステップＳ３０で「Ｎｏ」の場合には、動作パターン判断部３４はステップＳ２８に戻り処理を繰り返す。ステップＳ３０で「Ｙｅｓ」の場合には、ステップＳ３２に進み、動作パターン判断部３４は、符号４８で示したような、加速度ベクトルデータの必要個所のデータ加工を行う。
【００３９】
ステップＳ３４で、動作パターン判断部３４によって、加速度ベクトルデータに基づく指の動作パターンが、データベースとして保有されている辞書パターンと比較される。ステップＳ３６で、動作パターン判断部３４によって、最も近い入力コードに対応した入力コードが出力される。ステップＳ３８で、入力コード出力部２８の無線部３６によって、入力コードがパーソナルコンピュータ等の文字出力機器に送信され、ステップＳ４０に進む。
【００４０】
ステップＳ４０で入力操作者の判断により入力を継続しない場合には、ステップＳ４２で電源がオフにされる。ステップＳ４０で入力操作者の判断により入力を継続する場合には、動作パターン判断部３４はステップＳ４４に進む。ステップＳ４４で、入力操作者が表示画面６０を見ることにより入力操作者の判断により正確な文字入力がされている場合には、動作パターン判断部３４はステップＳ２８に進む。ステップＳ４４で入力操作者が表示画面６０を見ることにより入力操作者の判断により正確な文字入力がされていない場合には、動作パターン判断部３４はステップＳ１２に進む。なお表示画面６０は図８に記載されている。
【００４１】
図７のフローチャートにおいて、ステップＳ１２、Ｓ２６、Ｓ４０及びＳ４４における入力操作者の判断では、データ収集部１８又は２０に操作ボタンを設ける。入力操作者は、入力操作者の判断に応じた操作を操作ボタンに対して行う。これにより仮想キーボード装置は、操作ボタンに対して行われた操作に応じて判断を行う。
【００４２】
図８において、各指に装着された指センサ１６からの動作信号５０は、動作パターン判断部３４に供給される。動作パターン判断部３４は、指センサ１６からの動作信号５０と、動作パターン辞書部３２に記憶されているパターン情報に対応する動作信号とを比較する。動作パターン判断部３４は、検出された動作信号５０に対応する入力コードをパーソナルコンピュータ５６に供給する。
【００４３】
パーソナルコンピュータ５６は、入力コードを表示装置５８に出力する。表示装置５８は、入力コードにより示される文字、例えば「Ａ」、「Ｂ」、「Ｃ」、…の列５９を表示画面６０に表示する。
【００４４】
（II）実施形態に係る動作パターン判断部の構成及び動作
以下に説明する実施形態の動作パターン判断部３４では、各指センサ１６から夫々出力されて来る動作信号５０に基づき、各指におけるキー入力動作を、実物のキーにおける「押下動作」と「引き上げ動作」とに分けて認識する。動作パターン判断部３４は、各動作に夫々相当し且つ相互に異なった入力コードを出力する。
【００４５】
押下動作とは、水平に設置され且つ実物のキーを有するキーボード装置においてキーを鉛直下方向に押し下げる動作に相当する動作である。引き上げ動作とは、水平に設置され且つ実物のキーボード装置においてキーを押下した指を鉛直上方向に引き上げる動作に相当する動作である。実物のキーを有するキーボード装置では、通常、この引き上げの動作により、押下されていたキーは元の高さに戻ることとなる。
【００４６】
実施形態の仮想キーボード装置では、操作姿勢は問われないため、押下動作である実物のキーを押し下げる指の動作が実際には鉛直方向上向きの指１４の動作である場合や、左右いずれかの方向の指１４の動作である場合がある。押下動作が実際には指１４の鉛直上方向の動作である場合、引き上げ動作は、実際には指１４の鉛直方向下向きの動作である。押下動作が実際には指１４の水平左向きの動作である場合、引き上げ動作は、実際には指１４の水平右向きの動作である。更に押下動作が実際には指１４の水平右向きの動作である場合、引き上げ動作は、実際には指１４の水平左向きの動作である。
【００４７】
図９（ａ）に示すように、実施形態の動作パターン判断部３４は、センサ情報バッファ３４０と、動作判断部３４１と、押下状態保持部３４３と、により構成されている。動作判断部２４１が、第１動作検出手段の一例、第１コード出力手段の一例、第２動作検出手段の一例及び第２コード出力手段の一例に相当する。押下状態保持部３４３が、動作記憶手段の一例に相当する。
【００４８】
センサ情報バッファ３４０は、各指センサ１６から送信されて来る、片手につき合計１５個の動作信号５０に相当する加速度ベクトルデータを、予め設定されている所定時間だけ蓄積する。予め設定されている所定時間は、例えば１秒である。センサ情報バッファ３４０は、蓄積した加速度ベクトルデータを時系列的に動作判断部３４１に出力する。所定時間は、上記ステップＳ２０における加工の対象となる加速度ベクトルデータの必要箇所に相当する所定時間である。この加速度ベクトルデータの必要箇所は、例えば変化時点から±５００ｍｓにおける加速度ベクトルデータである。
【００４９】
押下状態保持部３４３は、実施形態の各キー毎に、現在、キー入力動作としてキーが押下状態にあるか否かを記憶する。即ち押下状態保持部３４３は、キー入力動作としての押下動作が実行された後、そのキーについての引き上げ動作が未だ実行されていない状態にあるか否かを記憶する。また、以下の説明において、キー入力動作としての引き上げ動作が実行された後、そのキーについての押下動作が未だ実行されていない状態を、「引き上げ状態」と称する。
【００５０】
動作パターン判断部３４における実施形態のステップＳ３４の動作では、動作パターン判断部３４に動作信号５０が加速度ベクトルデータとして夫々入力され始めると、センサ情報バッファ３４０は、これらを時系列に所定時間だけ蓄積する。センサ情報バッファ３４０は、蓄積されている加速度ベクトルデータを逐次動作判断部３４１に出力する。
【００５１】
図９（ｂ）において、センサ情報バッファ３４０による加速度ベクトルデータの蓄積および出力と並行して動作判断部３４１は、ステップＳ３４０として押下状態保持部３４２の記憶内容を初期化する。動作判断部３４１は、ステップＳ３４１として、センサ情報バッファ３４０から出力されて来る加速度ベクトルデータにおけるパターン情報と、動作パターン辞書部３２内に記憶されているパターン情報とを、一つのキー毎に比較する。ステップＳ３４１の動作においては、キーについての上記「押上動作」と上記「引き上げ動作」とを別個に比較する。
【００５２】
動作判断部３４１は、ステップＳ３４２として、ステップＳ３４１で比較されたパターン情報同士の相違の度合いを示す値を、パターン情報同士の「距離」として算出する。次に動作判断部３４１は、ステップＳ３４３として、ステップＳ３４２において算出された距離が予め設定されている閾値未満となったか否かを確認する。ステップＳ３４３において、パターン情報同士の距離が閾値以上であるとき（ステップＳ３４３；ＮＯ）、動作判断部３４１はステップＳ３５２に移行する。ステップＳ３５２の詳細については、後述する。
【００５３】
ステップＳ３４３の確認において、パターン情報相互間の距離が閾値未満であるとき（ステップＳ３４３；ＹＥＳ）、動作判断部３４１は、ステップＳ３４４として、当該距離が閾値未満であったパターン情報により示される指１４の動作が上記押下動作であるか否かを確認する。このパターン情報とは、加速度ベクトルデータとして入力されて来たパターン情報である。
【００５４】
動作が押下動作であった場合（ステップＳ３４４；押下）、動作判断部３４１は、ステップＳ３４５として、押下状態保持部３４２の記憶内容を参照する。動作判断部３４１は、現在動作判断の対象となっているキーが押下状態である旨が記憶されているか否かを確認する。キーが押下状態であることが記憶されているとき（ステップＳ３４５；ＹＥＳ）、動作判断部３４１は、ステップＳ３４４において押下状態であると確認されたキーについては繰り返してそのキーが押下されていると判断する。その後動作判断部３４１はステップＳ３５２に移行する。ステップＳ３５２の詳細については、後述する。
【００５５】
ステップＳ３４５の確認において、キーが押下状態であることが記憶されていないとき（ステップＳ３４５；ＮＯ）、ステップＳ３４５で確認されたキーについて新たに押下動作がされたこととなる。よって動作判断部３４１は、ステップＳ３４６としてキーについての押下動作である旨の入力コードを決定する。押下動作である旨の入力コードは入力開始コードである。
【００５６】
動作判断部３４１は、ステップＳ３４７として、動作判断部３４１内に備えられた図示しないタイマを初期化する。動作判断部３４１は、ステップＳ３４８として、押下動作である旨の入力開始コードを新たに決定したキーについて押下状態となった旨を押下状態保持部３４２内に記憶させ、ステップＳ３５３の動作に移行する。
【００５７】
動作判断部３４１は、ステップＳ３４４の確認において、距離が閾値未満であったパターン情報により示される指１４の動作が押下動作でなかった場合（ステップＳ３４４；引上）、指１４の動作は引き上げ動作である。動作判断部３４１は、ステップＳ３４９として、押下状態保持部３４２の記憶内容を参照し、現在動作判断の対象となっているキーが押下状態である旨が記憶されているか否かを確認する。キーが押下状態であることが記憶されているとき（ステップＳ３４９；ＹＥＳ）、動作判断部３４１は、ステップＳ３４４において引き上げ動作であると確認されたキーについては新たに引き上げ動作が行われたと判断し、ステップＳ３５０としてキーについての引き上げ動作である旨の入力コードを決定する。引き上げ動作である旨の入力コードは入力終了コードである。
【００５８】
なお、ステップＳ３５０の動作において、動作判断部３４１は、引き上げ動作を行う一の指１４に装着されている指センサ１６から出力された動作信号５０のみに基づいて、引き上げ動作の検出を行う。
【００５９】
動作判断部３４１は、ステップＳ３５１として、引き上げ動作である旨の入力終了コードを新たに決定したキーについて、引き上げ状態となった旨を押下状態保持部３４２内に記憶させ、ステップＳ３５３の動作に移行する。引き上げ状態となった旨は、換言すれば、押下状態ではなくなった旨である。
【００６０】
ステップＳ３４９の確認において、キーが押下状態であることが記憶されていないとき（ステップＳ３４９；ＮＯ）、動作判断部３４１は、ステップＳ３５２として、後述するリピート処理を実行する。ステップＳ３５２のリピート処理は、ステップ３４９の判断対象であったキーについて押下状態が継続していると判断されるとき、そのキーに対応する入力コードを連続して出力する処理である。換言すれば、実物のキーボード装置において一つのキーを継続して押下し続けたときに、押下し続けられたキーに対応する入力コードが連続して出力される処理に相当する処理である。ステップＳ３５２を実行した動作判断部３４１は、ステップＳ３５３に移行して予め設定されている時間待機する。この予め設定されている時間とは、例えば１０ミリ秒である。動作判断部３４１は、ステップＳ３５４として、動作判断部３４１内に備えられた図示しないタイマであって、後述するステップＳ３４６の動作により入力開始コードが決定されたキーが押下状態である時間を計時するタイマをカウントアップする。動作判断部３４１は、ステップ３５５として、引き続き加速度ベクトルデータが出力されて来ていれば（ステップＳ３５５；ＮＯ）、ステップＳ３４１の動作に戻る。なお、ステップＳ３５５の動作として、新たな加速度ベクトルデータの出力が停止した場合（ステップＳ３５５；ＹＥＳ）、動作判断部３４１はそのまま図７に示すステップＳ３６の動作に移行する。
【００６１】
ステップＳ３５２のリピート動作について、図１０に示すように、動作判断部３４１はステップＳ３６０として、ステップＳ３５４の動作としてカウントアップされているタイマに対応するキーがあるか否かを確認する。対応するタイマ値が所定値を超えているキーが存在しているとき（ステップＳ３６０；ＹＥＳ）、動作判断部３４１は、ステップＳ３６１として入力終了コードを一旦決定する。次に動作判断部３４１は、ステップＳ３６２として、対応するタイマ値が所定値を超えているキーについての入力開始コードを決定する。これにより、リピート処理が実現されることになる。
【００６２】
動作判断部３４１は、ステップＳ３６３として、図示しないタイマを初期化し、ステップＳ３６０の動作に移行する。
【００６３】
なお、ステップＳ３６０の確認において、ステップＳ３５４の動作としてカウントアップされているタイマに対応するキーが存在していないとき（ステップＳ３６０；ＮＯ）、動作判断部３４１はそのままステップＳ３５３の動作に移行する。
また、図９（ｂ）に示す動作において、ステップＳ３４８およびステップＳ３５１の動作を行った後にステップＳ３５２に移行するように構成してもよい。この場合、たとえばステップＳ３５１からステップＳ３５２に移行した場合には、図１０のステップＳ３６０の判定が「ＮＯ」とされる。これにより図９（ｂ）に示す動作と同様の結果となる。
さらに、図９（ｂ）および図１０に示した実施形態の動作は、各手１０Ｌまたは１０Ｒ毎に実行される。実物のキーボード装置におけるいわゆる「複数キーの同時押し」は、実施形態の仮想キーボード装置では、図９（ｂ）および図１０に示した動作を各手１０Ｌまたは１０Ｒ毎に行い、全ての指１４についての入力コードを動作判断部３４１において判断することにより、実現される。
【００６４】
以上説明したように、実施形態の動作パターン判断部３４の動作によれば、押下動作がされたことと、引き上げ動作がされたことと、を別個に検出し、夫々に対応した入力開始コード又は入力終了コードを出力する。したがって、動作パターン判断部３４によってキーについての押下動作とその引き上げ動作とを別個に検出することで、指１４の単位で複数のキーの同時操作又は同一キーの繰り返し操作等に対応する入力コードを正確に出力することができる。複数のキーの同時操作とは、複数のキーについての同時押下動作である。同一キーの繰り返し操作とは、そのキーについて押下状態を継続させる操作である。
【００６５】
従って、実物たるキーを有さずに空間的な指１４の動作を検出して入力コードを出力する仮想キーボード装置であっても、実物のキーボード装置と同様に複数のキーの同時操作又は同一キーの繰り返し操作等を実現することができる。
【００６６】
また、動作パターン判断部３４は、押下動作に相当するパターン情報と引き上げ動作に相当するパターン情報とを夫々別個に動作パターン辞書部３２内に記憶する。そして動作パターン判断部３４は、動作信号５０に対応する加速度ベクトルデータとの比較により押下動作及び引き上げ動作夫々の検出並びに対応する夫々のキーの識別を行う。従って、より正確にキー入力動作の検出等を行うことができる。
【００６７】
更に、押下動作がされたことが検出された場合に、動作判断部３４１は、押下動作の対象たるキーを示す入力開始コードが出力された後、引き上げ動作が未だ実行されずに入力終了コードが出力されてない状態であることを押下状態保持部３４２に記憶する。押下動作の対象たるキーを示す入力開始コードが出力された後、引き上げ動作が未だ実行されずに入力終了コードが出力されてない状態は、押下状態である。また引き上げ動作がされたことが検出された場合に、動作判断部３４１は、その引き上げ動作の対象たるキーを示す入力終了コードが出力された後、押下動作が未だ実行されずに入力開始コードが出力されてない状態であることを押下状態保持部３４２に記憶する。引き上げ動作の対象たるキーを示す入力終了コードが出力された後、押下動作が未だ実行されずに入力開始コードが出力されてない状態は、引き上げ状態である。動作判断部３４１は、押下動作がされたことが検出され且つ当該検出された押下動作の対象たるキーが引き上げ状態であることが記憶されている場合にのみ、その押下動作の対象たるキーを識別して対応する入力開始コードを出力する。動作判断部３４１は、更に引き上げ動作がされたことが検出され且つその検出された引き上げ動作の対象たるキーが押下状態であることが記憶されている場合にのみ、その引き上げ動作の対象たるキーを識別して対応する入力終了コードを出力する。従って、キーの識別処理の実行を限定的に行うことで動作判断部３４１としての処理を軽減することができる。
【００６８】
更にまた、動作判断部３４１は、押下状態であるか又は引き上げ状態であるかを押下状態保持部３４２に記憶する。引き上げ動作の検出を行う場合において検出対象たるキーが押下状態であることが記憶されているとき、動作判断部３４１は、引き上げ動作を行う一の指１４に装着されている指センサ１６から出力された動作信号５０のみに基づいて引き上げ動作の検出を行う。従って、押下状態であることが記憶されている場合における引き上げ動作の検出処理の負担を軽減することができる。
【００６９】
（III）変形形態
上述した実施形態では、指センサ１６は対応する指１４に夫々直接装着する場合について説明したが、これ以外に、左手１０Ｌ及び右手１０Ｒ夫々には手袋をはめることとし、この手袋における指１４に相当する部分の例えば外側に、対応する指センサ１６を装着するように構成することもできる。この外側とは、手の甲側である。
【００７０】
この場合には、実施形態に係る仮想キーボード装置を操作しようとする度毎に各指１４に対応する指センサ１６を装着する必要がなく、手袋をはめるだけでそれと同じ構成となることとなり、使用者にとって至極便利である。
【００７１】
また、図７、図９（ｂ）及び図１０に示すフローチャートに相当するプログラムをフレキシブルディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータにより読み出して実行することにより、当該マイクロコンピュータを実施形態又は変形形態に係る動作パターン判断部３４として活用することも可能である。
【産業上の利用可能性】
【００７２】
以上夫々説明したように、本発明は入力装置の分野に利用することが可能であり、特に仮想キーボード装置を用いた入力装置の分野に適用すれば特に顕著な効果が得られる。
【符号の説明】
【００７３】
１０Ｌ    左手
１０Ｒ    右手
１４、１４−１、１４−２、１４−３、１４−４、１４−５、１４−６、１４−７、１４−８、１４−９、１４−１０    指
１６、１６−１、１６−２、１６−３、１６−４、１６−５、１６−６、１６−７、１６−８、１６−９、１６−１０    指センサ
１８、２０    データ収集部
２２−１、２２−２、２２−３、２２−４、２２−５、２２−６、２２−７、２２−８、２２−９、２２−１０    ハーネス
２４、２６    無線部
２８    入力コード出力部
３０、４０    無線部
３２    動作パターン辞書部
３４    動作パターン判断部
４２    表示部
４４    文字コード
５０    動作信号
５２    文字
５８    表示装置
５９    列
６０    表示画面
３４０    センサ情報バッファ
３４１    動作判断部
３４２    押下状態保持部
【図１】
2010113786.tif 000003
【図２】
2010113786.tif 000004
【図３】
2010113786.tif 000005
【図４】
2010113786.tif 000006
【図５】
2010113786.tif 000007
【図６】
2010113786.tif 000008
【図７】
2010113786.tif 000009
【図８】
2010113786.tif 000010
【図９】
2010113786.tif 000011
【図１０】
2010113786.tif 000012
【国際調査報告】
2010113786.tif 000013
2010113786.tif 000014