(57)【要約】【課題】既存のキーボードの特徴であるタイピングによる文字入力に類似した感覚で文字入力が可能であり、かつ任意の場所で使用可能であるタイピング入力装置を提供する。【解決手段】ユーザの指を撮影するようにユーザの手首に取り付けられたカメラと、ユーザの腕の前後左右への傾きを認識するようにユーザの腕に取り付けられたセンサと、前記傾斜センサによってユーザの手の位置を検出し、打鍵可能なキーを決定し、前記カメラによって撮影された画像からユーザの指先の位置をフレーム毎に検出し、検出された手の位置及び指先の位置に基づいて打鍵動作を検知する情報処理装置とを具える。【選択図】図１
2005301583.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの指を撮影するようにユーザの手首に取り付けられたカメラと、ユーザの手の位置及び／又は傾きを検出するセンサと、前記センサによって検出された情報から打鍵可能なキーを決定し、前記カメラによって撮影された画像からユーザの指先の位置をフレーム毎に検出し、検出された手の位置及び指先の位置に基づいて打鍵動作を検知する情報処理装置とを具えることを特徴とするタイピング入力装置。
【請求項２】
請求項１に記載のタイピング入力装置において、前記センサが傾斜センサであることを特徴とするタイピング入力装置。
【請求項３】
請求項１に記載のタイピング入力装置において、前記センサが三軸センサであることを特徴とするタイピング入力装置。
【請求項４】
請求項１から３のいずれか１項に記載のタイピング入力装置において、前記カメラが赤外線透過フィルタを具えることを特徴とするタイピング入力装置。
【請求項５】
請求項４に記載のタイピング入力装置において、ユーザの手に赤外線を照射する赤外線照射光源をさらに具えることを特徴とするタイピング入力装置。
【請求項６】
請求項１から５のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、前記カメラによって撮影された画像をニ値化し、このニ値化した画像に輪郭線抽出及び細線化を行い、これらに基づいてユーザの指先の位置を検出することを特徴とするタイピング入力装置。
【請求項７】
請求項６に記載のタイピング入力装置において、前記情報処理装置が、前記細線化した画像において下向きの端点を指先として決定することを特徴とするタイピング入力装置。
【請求項８】
請求項６又は７に記載のタイピング入力装置において、前記情報処理装置が、前記輪郭抽出した画像において下向きのアーチ状になっている部分を探索し、一定区間内で最も下にある点を指先として決定することを特徴とするタイピング入力装置。
【請求項９】
請求項１から８のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、フレーム毎に検出された指先位置に基づいて、指先が急激に画面下方向に移動し、その指が移動した距離が他のすべての指が移動した距離より長く、移動した距離が一定距離以上であり、動き出してから止まるか運動方向が変化するまでの時間が一定時間以内であった場合、該指がタイピング動作を行ったと決定することを特徴とするタイピング入力装置。
【請求項１０】
請求項１から９のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、前記センサによって検出されたユーザの腕の傾きに応じて、各指に割り当てられるキー候補を変更することを特徴とするタイピング入力装置。
【請求項１１】
請求項１から１０のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、表示装置に仮想のキーボードを表示し、タイプされたキーの表示を変化させることを特徴とするタイピング入力装置。
【請求項１２】
請求項１１に記載のタイピング入力装置において、前記情報処理装置が、前記仮想のキーボードにおいて、各指に割り当てられたキー候補を区別して表示することを特徴とするタイピング入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タイピング入力装置に関する。
【背景技術】
【０００２】
既存のパーソナルコンピュータ（ＰＣ）用文字入力デバイスであるキーボードの特徴としては、キーを指で叩く、いわゆるタイピングによる文字入力が可能である点や、キーと文字が１対１対応（１自由度）である点、等が挙げられる。入力の際にすべての指を使用化のである上、入力したい文字を出現させるまでにキーを押す回数がほとんどの場合１回で済むため、ある程度習熟すれば、高速かつ確実に文字入力が行えるという長所がある。
【０００３】
しかしながら、短所として、キーボード全体にある程度の大きさが必要であり、そのままの状態では持ち運びや任意の場所での使用には不向きな点が挙げられる。単純に小型化しただけでは、キーが押しづらくなるために使用が少々困難になってしまい、使いやすさを維持できない。
【０００４】
一方、近年のハードウェア技術の発達により、ＰＣ本体や周辺機器の小型化・軽量化は飛躍的に進みつつある。これを一因として、小型化した計算機器類を身体に装着し、時と場所を問わずにＰＣを使用するウェアラブルコンピューティングが次第に実現されようとしている。
【０００５】
しかしながら、従来から計算機への文字入力手段として用いられ続けているキーボードに代表される文字入力デバイスは、上述したように小型化されるほどにユーザにとっては使いづらくなってしまい、可搬性と機能性が容易に両立し難いという問題があった。
【０００６】
そうした趨勢の中で、実際のキーボードの代わりに、キーボードと同等又は類似した機能と、既存のキーボードにはないモバイル性とを兼ね備えた仮想のキーボード（バーチャルキーボード）の提案がいくつかなされている。
【０００７】
従来のバーチャルキーボードの第１のタイプはキーボード装着型である。これは、文字通り身体の一部及び服などに小型化したキーボードやボタン等を装着するものであるが、装着部位の面積的問題から配列可能なキー数が制限されることや、使用の際に装着部位に手を移動させなければならないため煩わしさが生じるといった問題があった。
【０００８】
従来のバーチャルキーボードの第２のタイプは卓上投影型である。これは、平面上にキーボードの画像を投影し、その投影面を指で触ることで文字入力が可能となるものであるが、机等の安定した十分な広さの平面がなければ使用できないため、使用場所が限定されてしまうという問題があった。
【０００９】
従来のバーチャルキーボードの第３のタイプはグローブ装着型である。これは、手や指に機器を装着することで、指と手の動きから文字入力を行うものであるが、手全体が拘束されるために、指を使う他の作業への移行がスムーズでないという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したことを鑑み、本発明は、従来技術のような欠点を克服し、既存のキーボードの特徴であるタイピングによる文字入力に類似した感覚で文字入力が可能であり、かつ任意の場所で使用可能であるタイピング入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１に記載の発明は、  ユーザの指を撮影するようにユーザの手首に取り付けられたカメラと、ユーザの手の位置及び／又は傾きを検出するセンサと、前記センサによって検出された情報から打鍵可能なキーを決定し、前記カメラによって撮影された画像からユーザの指先の位置をフレーム毎に検出し、検出された手の位置及び指先の位置に基づいて打鍵動作を検知する情報処理装置とを具えることを特徴とするタイピング入力装置である。
【００１２】
請求項２に記載の発明は、請求項１に記載のタイピング入力装置において、前記センサが傾斜センサであることを特徴とするタイピング入力装置である。
【００１３】
請求項３に記載の発明は、請求項１に記載のタイピング入力装置において、前記センサが三軸センサであることを特徴とするタイピング入力装置である。
【００１４】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載のタイピング入力装置において、前記カメラが赤外線透過フィルタを具えることを特徴とするタイピング入力装置である。
【００１５】
請求項５に記載の発明は、請求項４に記載のタイピング入力装置において、ユーザの手に赤外線を照射する赤外線照射光源をさらに具えることを特徴とするタイピング入力装置である。
【００１６】
請求項６に記載の発明は、請求項１から５のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、前記カメラによって撮影された画像をニ値化し、このニ値化した画像に輪郭線抽出及び細線化を行い、これらに基づいてユーザの指先の位置を検出することを特徴とするタイピング入力装置である。
【００１７】
請求項７に記載の発明は、請求項６に記載のタイピング入力装置において、前記情報処理装置が、前記細線化した画像において下向きの端点を指先として決定することを特徴とするタイピング入力装置である。
【００１８】
請求項８に記載の発明は、請求項６又は７に記載のタイピング入力装置において、前記情報処理装置が、前記輪郭抽出した画像において下向きのアーチ状になっている部分を探索し、一定区間内で最も下にある点を指先として決定することを特徴とするタイピング入力装置である。
【００１９】
請求項９に記載の発明は、請求項１から８のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、フレーム毎に検出された指先位置に基づいて、指先が急激に画面下方向に移動し、その指が移動した距離が他のすべての指が移動した距離より長く、移動した距離が一定距離以上であり、動き出してから止まるか運動方向が変化するまでの時間が一定時間以内であった場合、該指がタイピング動作を行ったと決定することを特徴とするタイピング入力装置である。
【００２０】
請求項１０に記載の発明は、請求項１から９のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、前記センサによって検出されたユーザの腕の傾きに応じて、各指に割り当てられるキー候補を変更することを特徴とするタイピング入力装置である。
【００２１】
請求項１１に記載の発明は、請求項１から１０のいずれか１項に記載のタイピング入力装置において、前記情報処理装置が、表示装置に仮想のキーボードを表示し、タイプされたキーの表示を変化させることを特徴とするタイピング入力装置である。
【００２２】
請求項１２に記載の発明は、請求項１１に記載のタイピング入力装置において、前記情報処理装置が、前記仮想のキーボードにおいて、各指に割り当てられたキー候補を区別して表示することを特徴とするタイピング入力装置である。
【発明の効果】
【００２３】
本発明によれば、物理的なキーボードがなくても空中やひざのうえ、電車に乗って立ったままなど、使用状況を選ばずにフルキーボードを使うのと同じタイピング入力ができる。また、仮想キーボードの実体はソフトウェアであるため、キーボードのサイズやキー配置は簡単にカスタマイズや切り替えができ、さらには様々な操作盤などへ応用が可能である。また何にも触れずにタイピングができることから、医療現場や極限環境などでのユーザインタフェースへの応用が期待できる。
【発明を実施するための最良の形態】
【００２４】
図１は、本発明によるタイピング入力装置の構成の一例を示す図である。本タイピング入力装置１は、傾斜センサ２と、小型カメラ３と、赤外光照射光源４と、アームバンド５とを具える。傾斜センサ２と、小型カメラ３と、赤外線照射光源５とをアームバンド５に取り付け、ユーザの腕に装着する。傾斜センサ２及び小型カメラ３を情報処理装置（図示せず）に接続する。傾斜センサ２と、小型カメラ３と、赤外線照射光源５とに外部から電力を供給するか、内部電源を内蔵させる。
【００２５】
傾斜センサ２は、例えば三軸センサ又は傾斜センサであり、ユーザの腕の前後左右への傾きを認識し、その情報を情報処理装置に伝送する。情報処理装置は、前記傾きの度合いをホームポジションからの手の移動量としてみなし、タイプ可能なキーの候補を選択する。図２は、キー候補選択の動きを説明する図である。グレイの部分がタイピング可能なキーの範囲を示す。この図に示すように、ホームポジションをキーボードの中央とし、手首を前後に傾けるとホームポジションより上もしくは下の段のキーの打ち分けを、手首を左右に傾けるとホームポジションより左もしくは左のキーの打ち分けを行う。
【００２６】
小型カメラ３は、手首の下に指先を撮影するように配置し、得られた映像を情報処理装置に伝送する。手首の下の位置から指全体を視野に捉えるため、小型カメラ３には魚眼レンズを装着することが望ましい。また、小型カメラ３で撮影した映像から指先の動作を観察するためには、手の像を安定して取得する必要がある。そこで、赤外光照射光源４を、小型カメラ３の下に赤外光を照射するように配置し、小型カメラ３には赤外透過フィルタを取り付ける。このようにすれば、赤外透過フィルタは可視光を遮断するため、小型カメラ３に近接している手が非常に明るく映し出され、小型カメラ３で撮影した映像をしきい値処理のみで手指領域とそれ以外の領域にニ値化することが可能になる。
【００２７】
情報処理装置は、小型カメラ３から送られた映像に、手領域抽出、指先抽出、かく指先の位置を検出、及び、指先の動きがある条件を満たしたときにタイピング動作であると判断といった処理を行い、タイピング動作を認識する。図３は、手領域を抽出し、指先を検出する処理を説明する流れ図であり、図４は、指先の動きからタイピング動作を認識する処理を説明する流れ図である。以下、これらの図面を参照しながら各処理について説明する。
【００２８】
先ず図３を参照し、手領域を抽出し、指先を検出する処理について説明する。図５は、図３に示す動作において処理される画像を示す図である。ステップｓ１０１において、情報処理装置は、小型カメラ３が得た映像をニ値化する（図５の６１）。ステップＳ１０２において、前記ニ値化した映像をラベリング処理し、最大領域を占めるものを手領域と判断して抽出する。
【００２９】
ステップｓ１０３において、Ｈｉｌｄｉｔｃｈの細線化法を用いて細線化を行う（図５の６２）。ステップｓ１０４において、細線化された画像を元に下向きの端点を探索し、検出された部分を画像の左から順番に親指から小指までの各指先として対応付ける（図５の６３）。
【００３０】
ステップｓ１０３及びｓ１０４の処理と同時に、ステップｓ１０５において、二値化された画像の手領域部分の最も画面下にある輪郭線を抽出する（図５の６４）。ステップｓ１０６において、この抽出された輪郭線に沿って画面の左から右へ輪郭線追跡を行い、下向きのアーチ状になっている部分を探索していく。図６は、このような下向きのアーチ上部分の探索を説明する図である。具体的には、追跡していく各々の注目点に対し、その注目点を中心として左右の一定距離内（図６の例では３ピクセル内）に存在する輪郭線上の点が注目点よりも画面において上に存在しているかつまり極小値であるかどうかを判断する。その結果、注目点がある一定区間内において極小値であると判断された場合、指先点として検出し、画像の左から順番に親指から小指までの各指先として対応付ける（図５の６５）。
【００３１】
ステップｓ１０３及びｓ１０４と、ステップｓ１０５及びｓ１０６の２つの処理を同時に行って指先を検出している理由は、指先同士が少しでも重なって小型カメラから見えてしまっていると、二値化して細線化処理を行う際に重なっている指先同士の部分が端点にならず、連結して輪になってしまうためである。こうなると細線化処理により正常に５つの指先が検出されなくなる。そこで、ステップｓ１０７において、ステップｓ１０４で得られた結果において正常に５本の指が検出されているかどうか判断し、そうであれば、ステップｓ１０８において、細線化処理（ステップｓ１０３及びｓ１０４）により検出された結果を採用し、指同士が重なり合い５本の指先が検出できない場合は、ステップｓ１０９において、ステップｓ１０６で得られた結果において正常に５本の指が検出されているかを判断し、そうであれば輪郭線抽出処理（ステップｓ１０５及びｓ１０６）による結果を採用する。こうすることで、ほぼ常に指先を検出し続けることが可能になる。双方の処理において正常に５本の指先が検出できない場合、ステップｓ１１１において指先検出不可能と判断し、そのフレームでの指先位置検出をあきらめる。
【００３２】
次に図４を参照し、指先の動きからタイピング動作を認識する処理を説明する。図７は、ある時間内の五指の動きの一例を示すグラフである。横軸はフレーム数（時間）、縦軸は画面Ｙ軸方向（縦方向）の座標値である。このグラフを例として参照する。
【００３３】
ステップｓ２０１において、図３を参照して説明した処理により指先位置をフレーム毎に取得する。以降のステップにおいて、これらの指先位置を元に、各指先が画面上でどのように動いているかを観察する。その際、ある指先の動作がある条件を満たした場合、タイピング動作がなされたと判断する。
【００３４】
先ずステップｓ２０２において、急激に画面下方向へ移動を開始した（この瞬間の座標値を最上点とする）後、しばらく同方向へ移動した後、画面上方向へ移動方向を反転又は静止した（この瞬間の座標値を最下点とする）指がないかどうかを判断する。なかった場合、ステップｓ２０３に進み、現フレームではキー入力がなかったと判断する。あった場合、ステップｓ２０４に進む。静止（Ｙ軸方向に移動していない）もしくは画面上方向へ向かって移動していた指先が、ある時刻から１フレーム以内に画面下方向へ向かって例えば２ピクセル以上移動した場合を、「急激に画面下方向へ移動を開始した」と認識し、この時の移動開始位置を最上点とする。図７の例において、中指のグラフのＡ点からＢ点までの区間とＣ点からＤ点までの区間が「急激に画面下方向へ移動を開始した」と認識された箇所にあたり、これらの区間における最上点はそれぞれＡ点とＣ点である。最下点はＢテントＥ点がこれに当たる。
【００３５】
ステップｓ２０４において、注目している指（ステップｓ２０２において移動したと判断した指であり、図７の例においては中指）が移動した距離、すなわち最上点から最下点までの距離が、他のすべての指の移動距離より大きいかどうかを判断する。違う場合、ステップｓ２０３に進み、現フレームではキー入力がなかったと判断する。そうである場合、ステップｓ２０５に進む。図７の例において、中指のＡ点からＢ点までの区間が２ピクセル、Ｃ点からＥ点までの区間が１１ピクセルである。まず、Ａ点からＢ点までの区間について他の指との比較を行うと、最下点到達の時刻（２６フレーム目）において人差し指と小指が画面下方向に動いていることがわかる。人差し指は２５フレーム目にＹ座標値８０から、中指の最下点到達の時刻までに１ピクセル移動している。小指は２４フレーム目にＹ座標値６８から、中指の最下点到達の時刻までに２ピクセル移動している。したがってこの場合は中指の移動距離と小指の移動距離が同じであるため、ステップｓ２０４の条件にそぐわないものと判断する。次に、Ｃ点からＥ点までの区間について他の指との比較を行うと、最下点到達の時刻（３２フレーム目）においては薬指と小指が画面下方向に動いていることがわかる。薬指は３１フレーム目にＹ座標値８５から、中指の最下点到達時刻の時間までに１ピクセル移動している。小指は３１フレーム目にＹ座標値６８から、中指の最下点到達の時刻までに１ピクセル移動している。したがって、この場合は中指の移動距離が他の指の移動距離と比較して最大となるため、ステップｓ２０４の条件に合致するものと判断する。
【００３６】
ステップｓ２０５において、注目している指の最上点から最下点までの移動距離が一定距離以上であるかどうかを判断する。一定距離未満である場合、ステップｓ２０３に進み、現フレームではキー入力がなかったと判断する。一定距離以上である場合、ステップｓ２０６に進む。タイピング動作であるか否かを判断するための最上点から最下点までの移動距離のしきい値は、魚眼レンズによる画面のひずみや小型カメラから指先までの距離（約１３ｃｍ）、各指の画面に対する位置等を考慮し、例えば親指と小指は５ピクセル、残りの指は４ピクセル以上と設定する。この距離は実世界において約２ｃｍ程に相当する。図７の例において、中指のＣ点からＥ点までの区間についてみてみると、最上点から最下点までの移動距離は１１ピクセルである。したがって、中指のタイピング動作とみなすしきい値を越えているので、この区間はステップｓ２０５の条件に合致するものと判断する。
【００３７】
ステップｓ２０６において、注目している指が動き出してから止まるか、再び運動方向が変化するまでの時間、すなわち、最上点出発の時刻と最下点到達の時刻との時間差が一定時間以内であるかどうかを判断する。時間差が一定時間を越える場合、ステップｓ２０３に進み、現フレームではキー入力がなかったと判断する。時間差が一定時間内である場合、ステップｓ２０７に進む。例えば、最上点出発の時刻と最下点到着の時刻との差が０．５秒以内であればタイピング動作であると判断する。図８の例において、中指のＣ点からＥ点までの区間についてみてみると、最上点から最下点までの移動に２フレーム、つまり０．２秒かかっていることがわかる。したがって、この区間はステップｓ２０６の条件に合致するものと判断する。
【００３８】
ステップｓ２０７において、ステップｓ２０２、ｓ２０４、ｓ２０５及びｓ２０６における判断の結果から、注目している指がタイピング動作を行ったと判断し、ステップｓ２０８において、その指に対応したキー入力を行う。図８の例において、中指のＣ点からＥ点までの区間は上記４つの基準を満たしているため、３２フレーム目に中指におけるタイピング動作が検出されることになる。
【００３９】
実際の操作において、例えば、図２に示すようなタイピング入力装置を右腕の手首に装着し、片手だけで操作を行う。実際にキーボードを操作するような間隔で、中空でタイピング動作（指を振り下ろす動作）を行うと、各指に対応したキーが入力される。タイピング可能なキー候補の選択は、手首の前後左右の傾き具合により行う。また、手首を上下させることで、キーボード入力の有効／無効の切り替えが可能である。有効になっているときにのみ、中空でのタイピング動作をキー入力として受け付け、無効になっているときは一切の指の動作をキー入力として受け付けない。なお、このキー入力の有効無効の切り替え操作によって、ホームポジションとなる腕の傾き具合をリセットすることが可能である。無効から有効に切り替えられたときの腕の傾き具合をホームポジションとしてその都度認識する。
【００４０】
図９は、本発明によるタイピング入力装置を接続したコンピュータの表示装置に表示させる提示画面の一例を示す図である。小型カメラによって撮影された手の映像を細線化、輪郭抽出した画像と、仮想のキーボードを可視化したものとを画面上部に提示する。仮想のキーボードのキー配列は、実際のキーボードと同じＱＷＥＲＴＹ配列（アルファベット部分）である。
【００４１】
図１０は、手首の傾きに応じた各指に割り当てられるキーの変化を説明する図である。この図に示す例において、手首の傾きを前後左右に変化させることで、人差し指、中指及び薬指の３本に割り当てられるキーを変化させる。親指と小指には、使用頻度が多いＥｎｔｅｒやＳｐａｃｅ、ＢａｃｋＳｐａｃｅキー等の特殊キーを常に割り当てる。画面に表示されるキーボード画面において、そのときにタイプ可能なキーの候補を例えば青く着色して表示し、タイプされたキーを瞬間的に例えば黄色に光らせて反応させる。
【００４２】
図１１は、入力文字種類変更の操作を説明する図である。Ｃａ（ＣａｐｓＬｏｃｋ）キー及びＳｐ（特殊文字）キーを押すことで、入力可能な文字の種類を変更することができる。
【００４３】
ユーザの手の位置及び／又は傾きを検出する手段として、傾きを検出する傾斜センサ及び三軸センサを例として説明したが、他の種類のセンサによっても本発明は実施可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明によるタイピング入力装置の構成の一例を示す図である。
【図２】キー候補選択の動きを説明する図である。
【図３】手領域を抽出し、指先を検出する処理を説明する流れ図である。
【図４】指先の動きからタイピング動作を認識する処理を説明する流れ図である。
【図５】図３に示す動作において処理される画像を示す図である。
【図６】下向きのアーチ上部分の探索を説明する図である。
【図７】ある時間内の五指の動きの一例を示すグラフである。
【図８】本発明によるタイピング入力装置を接続したコンピュータの表示装置に表示させる提示画面の一例を示す図である。
【図９】手首の傾きに応じた各指に割り当てられるキーの変化を説明する図である。
【図１０】入力文字種類変更の操作を説明する図である。
【符号の説明】
【００４５】
１  タイピング入力装置
２  傾斜センサ
３  小型カメラ
４  赤外線照射光源
５  アームバンド
【図１】
2005301583.tif 000003
【図２】
2005301583.tif 000004
【図３】
2005301583.tif 000005
【図４】
2005301583.tif 000006
【図５】
2005301583.tif 000007
【図６】
2005301583.tif 000008
【図７】
2005301583.tif 000009
【図８】
2005301583.tif 000010
【図９】
2005301583.tif 000011
【図１０】
2005301583.tif 000012