(57)【要約】【課題】コンパクトで処理が簡単な仮想キーボード入力判定装置を提供する。【解決手段】  手指の撮像画像に基づいて、手指の位置を判定できる第１の高さにおける水平方向の第１の鮮鋭度を演算する鮮鋭度情報演算部と、前記第１の鮮鋭度をもとにホームポジションにおける第１の指間隔と、手指移動後の第２の指間隔と、を演算する指間隔演算部と、ホームポジションにおける手指の第１の鮮鋭度と入力時の手指の第１の鮮鋭度との位置関係とに基づいて左右方向の移動量と移動方向を演算し、キー入力時における仮想キーボードのキーの左右方向の手指の位置を判定するとともに、前記指間隔演算部により演算された前記第１の指間隔と前記第２の指間隔とから手指の前後方向の移動量を演算し、キー入力時における仮想キーボードのキーの前後方向の手指の位置を判定する位置判定部と、を有することを特徴とする仮想キーボード入力判定装置。【選択図】図４
2014120131.tif 000002
【特許請求の範囲】
【請求項１】
手指の撮像画像に基づいて、手指の位置を判定できる第１の高さにおける水平方向の第１の鮮鋭度と、前記第１の高さとは異なり打鍵の有無を判定できる第２の高さにおける第２の鮮鋭度と、を演算する鮮鋭度情報演算部と、
前記第１の鮮鋭度をもとにホームポジションにおける第１の指間隔と、手指移動後の第２の指間隔と、を演算する指間隔演算部と、
ホームポジションにおける手指の第１の鮮鋭度とキー入力時の手指の第１の鮮鋭度との位置関係とに基づいて左右方向の移動量と移動方向を演算し、キー入力時における仮想キーボードのキーの左右方向の手指の位置を判定するとともに、前記指間隔演算部により演算された前記第１の指間隔と前記第２の指間隔とから手指の前後方向の移動量を演算し、キー入力時における仮想キーボードのキーの前後方向の手指の位置を判定する位置判定部と、
前記第２の鮮鋭度から打鍵の有無 を判定する打鍵判定部と
を有することを特徴とする仮想キーボード入力判定装置。
【請求項２】
前記位置判定部は、
前記指間隔演算部により演算された前記第１の指間隔と前記第２の指間隔とから、手指の移動幅と手指の前後の移動方向の関係性を示す位置判定テーブルを参照して、手指の前後方向の移動に基づいて仮想キーボードのキーの前後方向の手指の位置を判定することを特徴とする請求項１に記載の仮想キーボード入力判定装置。
【請求項３】
前記第１の鮮鋭度を測定する位置は、打鍵の有無にかかわらずに手指の位置を判定可能な高さであり、第２の鮮鋭度を測定する位置は、打鍵の有無を判定することができる程度の高さであることを特徴とする請求項１又は２に記載の仮想キーボード入力判定装置。
【請求項４】
前記打鍵判定部により打鍵があると判定されると、前記位置判定部によって判定された打鍵位置を制御部に通知することを特徴とする請求項１から３までのいずれか１項に記載の仮想キーボード入力判定装置。
【請求項５】
前記手指の撮像画像を取得する撮像部と、
請求項１から４までのいずれか１項に記載の仮想キーボード入力判定装置と
を備えた端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想キー入力判定装置と、それを備えた携帯端末装置に関する。
【背景技術】
【０００２】
携帯端末装置は、小型化のために、簡素化されたキーボート又はソフトキーボードを備えている。一方、最近では、携帯端末装置をメインマシンとして用いるケースが多くなってきている。
【０００３】
しかしながら、入力装置としては、フルキーボードのような全ての指を用いる入力の方が、迅速かつ確実に入力することができる。
【０００４】
そこで、実際にはキーボードを利用せずに仮想的なキーボードに打鍵するアクションに基づくいわゆる仮想キーボードという発想が生まれている。仮想キーボートに対応可能な携帯端末装置としては、例えば、下記特許文献１に記載のものが知られている。
【０００５】
特許文献１に記載の携帯端末装置では、１）端末内蔵カメラの正面に置かれた手指が静止した場合に、その時点の手指の位置／大きさを仮想キーボードのホームポジションとして判定し、２）ホームポジションを基準とし、移動後の手の指の二次元位置／大きさを比較することで打鍵位置を判定し、判定した位置に相当するキーを入力とする。３）手指の大きさ検知手段として、カメラ画像に対する画像認識を使用し、最小二乗法を用いて指の中心線を求め、その中心線と直角に交わる線分を指の平均径（＝指の大きさ）として入力位置を算出している。
このような方法により、仮想的なキーボードを用いた入力が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許４８４６８７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
キー入力する際に、キーの位置を目視で確認せずに打鍵する「タッチタイピング（ブラインドタッチ）」は、打鍵と打鍵の時間間隔が短い。そのタッチタイピングについて、メカニカルキーボードでタッチタイピングする使用者が、仮想キーボードでもタッチタイピングしようとするのが自然である。
【０００８】
しかしながら、仮想キーボードによる打鍵において、上記の仮想キーボード対応端末が打鍵の位置判定の際に使用している最小二乗法は、処理が複雑で演算時間が長くなる。そのため、上記仮想キーボード機能を、処理能力の低い携帯端末装置によって実現しようとした場合、打鍵位置の判定に時間がかかってしまうため、タッチタイピングに対応できないという問題がある。
【０００９】
本発明は、仮想キー入力判定装置における打鍵位置の判定処理を簡単にすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、手指の撮像画像に基づいて、手指の位置を判定できる第１の高さにおける水平方向の第１の鮮鋭度と、前記第１の高さとは異なり打鍵の有無を判定できる第２の高さにおける第２の鮮鋭度と、を演算する鮮鋭度情報演算部と、前記第１の鮮鋭度をもとにホームポジションにおける第１の指間隔と、手指移動後の第２の指間隔と、を演算する指間隔演算部と、ホームポジションにおける手指の第１の鮮鋭度と入力時の手指の第１の鮮鋭度との位置関係とに基づいて左右方向の移動量と移動方向を演算し、キー入力時における仮想キーボードのキーの左右方向の手指の位置を判定するとともに、前記指間隔演算部により演算された前記第１の指間隔と前記第２の指間隔とから手指の前後方向の移動量を演算し、キー入力時における仮想キーボードのキーの前後方向の手指の位置を判定する位置判定部と、前記第２の鮮鋭度から打鍵の有無を判定する打鍵判定部とを有することを特徴とする仮想キーボード入力判定装置が提供される。
【００１１】
前記第１の鮮鋭度を測定する位置は、打鍵の有無にかかわらずに手指の位置を判定可能な高さであり、第２の鮮鋭度を測定する位置は、打鍵の有無を判定することができる程度の高さであることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、打鍵位置の判定処理を簡単にすることができる仮想キー入力判定装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態による仮想キー入力判定装置を有する携帯端末装置の一構成例を示す機能ブロック図である。
【図２Ａ】本実施の形態による仮想キー入力判定装置の利用シーンの一例を示す斜視図である。
【図２Ｂ】本実施の形態による仮想キー入力判定装置の利用シーンの一例を示す平面図である。
【図３Ａ】制御部による打鍵判定処理の全体の流れの概要を示すフローチャート図である。
【図３Ｂ】ホームポジションを判定する処理の詳細を示すフローチャート図である。
【図３Ｃ】打鍵した指の左右方向の移動位置の判定である左右判定処理の流れを示すフローチャート図である。
【図３Ｄ】打鍵しようとする指の第１の移動手順である前後方向の移動位置の判定である前後判定処理の流れを示すフローチャート図である。
【図３Ｅ】打鍵しようとする指の第２の移動手順である指の上下方向の移動位置の判定である上下判定処理の流れを示すフローチャート図である。
【図４】着目画素の位置を横軸とした、（ａ）キー入力中のカメラ画像と、（ｂ）キー入力時におけるｈ１の１ラインの鮮鋭化情報と、（ｄ）一番下の図のホームポジションにおけるｈ１の１ラインの鮮鋭化情報と、（ｃ）（ｂ）−（ｄ）の両者の差分情報とを示す図である。
【図５】（ａ）キー入力中のカメラ画像と、（ｂ）そのキー入力中におけるカメラ画像の輝度情報に対し、床上方１０ｍｍにおける水平方向１ラインの鮮鋭度情報を表す図である。
【図６Ａ】図６Ａは、（ａ）キー入力中のカメラ画像と、（ｂ）そのキー入力中におけるカメラ画像の輝度情報に対し、床上方３ｍｍ（ｈ２）における水平方向１ラインの鮮鋭度情報を表す図である。
【図６Ｂ】図６Ｂは、（ａ）キー入力中のカメラ画像と、（ｂ）そのキー入力中におけるカメラ画像の輝度情報に対し、床上方１０ｍｍ（ｈ１）における水平方向１ラインの鮮鋭度情報を表す図である。
【図７Ａ】左右移動の位置判定の詳細を示す図である。
【図７Ｂ】前後移動の位置判定の詳細を示す図である。
【図７Ｃ】打鍵に伴う指の移動の詳細を示す図である。
【発明を実施するための形態】
【００１４】
鮮鋭度とは、画像の明瞭さ（ｓｈａｒｐｎｅｓｓ）を示す指標の１つであり、鮮鋭度は基本的にボケの度合いを扱っており、鮮鋭であることはボケが少ないことを示している。
【００１５】
指間隔とは、鮮鋭度情報をもとにホームポジションにおける指の中心間の幅を画素数等で示した値である。指間隔の代わりに指の幅等を用いても良い。
【００１６】
後述するｈ１は、打鍵の有無に依存せずに、手指を撮影できる高さ方向の位置であり、手指の前後、左右の移動を判定することができる位置である。ｈ２は打鍵判定を行うために、打鍵の有無に依存して、打鍵した手指を判定することができる高さ方向の位置である。
【００１７】
以下に、本発明の実施の形態による仮想キー入力判定装置及びそれを備えた携帯端末装置について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本実施の形態による仮想キー入力判定装置を有する携帯端末装置の一構成例を示す機能ブロック図である。図２Ａは、本実施の形態による仮想キー入力判定装置の利用シーンの一例を示す斜視図であり、図２Ｂは、利用シーンの一例を示す平面図である。
【００１９】
図２Ａ、図２Ｂに示すように、スマートフォンやタブレットＰＣなどの携帯端末装置Ａのカメラ７が撮影可能な位置、例えば、携帯端末装置Ａをおいたテーブルなどの設置面上において手Ｈを前後左右上下に動かし、その動きをカメラ７により撮影することを考える。例えば、机上などの２次元平面上に利用者の手指が設置された状態で撮影した正面画像に基づいて、手指の左右方向、前後方向及び上下方向への動きに依存する鮮鋭度を求めることで、手指の動きを測定し、仮想キーボード上のどのキーを打鍵したかを精度良く判定することができる。
【００２０】
図１に示すように、携帯端末装置Ａは、アンテナＡＴや送受信回路を含む無線部１と、テンキーやタッチパネルなどで構成され、ユーザの操作を受け付ける操作部３と、液晶表示装置又はＥＬ表示装置などによる表示部５と、ＣＣＤ／ＣＭＯＳ等の撮像素子で構成され、レンズ等を通して撮像素子に結像した明るさ情報を画像データとして取り込むカメラなどの撮像部７と、携帯端末装置Ａ全体の制御を行う制御部（ＣＰＵ）１１と、携帯端末装置Ａの処理を行うプログラム、設定内容、取得したデータの記憶などを行うメモリ部１５と、を有している。ユーザは、例えば机の表面などの２次元平面上に仮想的に画定される行列状に配置される複数のキーからなるキーボードに対して、キータッチと同様の動作を行う。撮像部７は、例えば携帯端末装置Ａ内に設けられ、手指（手の爪などを含む）を近づけて配置すると、手指の正面画像を連続的に撮影することができる、例えばデジタルカメラである。
【００２１】
図１は、スマートフォンにおける構成例を示すが、全ての要素を備えている必要はなく、また、追加の要素を備えていても良い。操作部３は、スマートフォンであれば、タッチパネルが一般的であるが、携帯電話であれば操作ボタンなどが一般的であり、操作部の形態を限定するものではない。タッチパネルの場合には、操作部３が表示部５内に組み込まれている。
【００２２】
さらに、制御部１１は、メモリ部１５に記憶される打鍵判定プログラムを実行することで、仮想キーボードＫへの入力を判定するための機能部として機能する。
１）鮮鋭度情報演算部２１：  撮像部７で取り込んだ画像データの輝度成分に対し、例えば、水平方向２ラインについて微分演算し、２種類の鮮鋭度情報（α,β）を生成する。αは接地面から遠い方の水平方向のラインの鮮鋭度、βは近い方の水平方向のラインの鮮鋭度情報である。
２）指間隔演算部２３：  鮮鋭度情報αをもとにホームポジションにおける指の中心間の幅（＝指間隔）、および、手指移動後における指間隔を演算する。
３）位置判定部２７：  鮮鋭度情報αをもとに、「左右どちらの手が」、「どの位置に」動いたかを判定する。また、移動量／移動方向判定テーブル２５から「前後どちらの方向に」、「どの位置に」動いたかを判定する。ここで、移動量／移動方向判定テーブル２５とは、ホームポジションにおける指間隔／キー入力中における指間隔と、指の移動量／移動方向の対応関係を示すテーブルである。
４）打鍵判定部３１：  鮮鋭度情報α,βをもとに仮想キーボードＫに対する使用者の指のタッチ/非タッチを判定する。
５）キーコード生成部１７：  仮想キーボードＫ上の「打鍵位置」に対する「キーコード情報」のテーブルで構成され、打鍵判定部３１からの「タッチ検出情報」、位置判定部２７からの「位置情報」とから手指がタッチした箇所に該当するキーのコードを生成する。
【００２３】
制御部１１では、撮像部７で取り込んだ画像データを鮮鋭度情報演算部２１へ送り、鮮鋭度情報(α,β)を生成する。その鮮鋭度情報(α,β)を打鍵判定部３１へ送り、打鍵検出の有無を判定させる。打鍵判定部３１がタッチ検出をした場合、鮮鋭度情報を位置判定部２７へ送り、打鍵位置を判定させる。位置判定部２７が判定した位置情報をキーコード生成部１７へ送る。
【００２４】
次に、上記制御部による打鍵判定処理の内容について説明する。
図３Ａは、処理の全体の流れの概要を示すフローチャート図である。図３Ａに示すように、処理を開始すると（Ｓｔａｒｔ：  ステップＳ０）、ステップＳ１でホームポジションを判定する共通処理を行い、ステップＳ２、Ｓ３において、右打鍵位置判定処理、左打鍵位置判定処理を行い、ステップＳ４において、打鍵があれば打鍵位置を制御部に通知する。そして、ステップＳ４で、次のフレームに移行し（ステップＳ５）、ステップＳ２からの処理を繰り返す。なお、ステップＳ２〜ステップＳ４の処理は、例えば、カメラ７のフレーム周波数が３０Ｈｚの場合、３３．３ｍｓ以内に行う必要がある。また、打鍵が長く検出されない場合には、一時、処理を停止しても良い。
【００２５】
以下に、各処理の内容について各実施の形態として、詳細に説明する。
【００２６】
（第１の実施の形態）
（１）ホームポジションの判定処理
図３Ｂは、ホームポジションを判定する処理の詳細を示すフローチャート図である。
非キー入力時において、非タッチ状態における手の状態をカメラ７で撮像した画像と、そのカメラ画像の輝度情報に対し（ステップＳ１−１で輝度情報を取得）、例えば、手指による打鍵の有無に依存せずに手指を撮影することができる位置である机などの設置面の上方に向けて第１の高さｈ１（例えば１０ｍｍ）における例えば水平方向１ラインの鮮鋭度情報を演算し（ステップＳ１−２）、鮮鋭度情報から求められる「指の中央」と「隣の指の中央」との間隔についての平均値情報と、その平均値情報と、手Ｈとカメラ７との位置関係を記したテーブル（表３：後述）とから、現在の手の位置を演算し（ステップＳ１−３）、その位置をホームポジションとして判定し、メモリ部１５に記憶し（ステップＳ１−４）、処理を終了する（ステップＳ１−５）。
【００２７】
【表１】
2014120131.tif 000003
【００２８】
以上の処理により、表１のようなホームポジションにおける鮮鋭度座標と指間隔との関係を求めることができる。
【００２９】
次に、位置判定について説明する。キーボードは、２次元平面上に、左右方向と前後方向との２方向に整列配置されているのが一般的である。従って、入力位置の判定処理は、左右方向の位置判定と前後方向の位置判定とからなる。
【００３０】
（第２の実施の形態）
（２）位置判定（左右判定）処理
まず、左右方向の位置判定について説明する。
図３Ｃは、打鍵した指の左右方向の移動位置の判定である左右判定処理（ステップＳ１１）の流れを示すフローチャート図である。図４は、着目画素の位置を横軸とした、（ａ）キー入力中のカメラ画像と、（ｂ）キー入力時におけるｈ１の１ラインの鮮鋭度情報と、（ｄ）一番下の図のホームポジションにおけるｈ１の１ラインの鮮鋭度情報と、（ｃ）（ｂ）−（ｄ）の両者の差分情報とを示す図である。
【００３１】
位置判定（左右判定）（ステップＳ１１）は、まず、ステップＳ１１−１において、以下の２つの情報について、
・ホームポジションにおけるカメラ画像の輝度情報に対し、設置面上方に向けて第１の高さｈ１（１０ｍｍ）における水平方向１ラインの鮮鋭度情報（ステップＳ１−２で取得済み）
・キー入力中におけるカメラ画像の輝度情報に対し、設置面上方に向けて第１の高さｈ１（１０ｍｍ）における水平方向１ラインの鮮鋭度情報それぞれの位置関係を比較し、ステップＳ１１−２において手Ｈの左右方向の移動量と移動方向を演算し、キー入力中における手指の位置を判定する（ステップＳ１１−３）。
【００３２】
上記の位置判定（左右判定）について詳細に説明する。
図４（ｂ）において、鮮鋭度情報の演算は左端座標から行い、（ａ）の左端から座標Ｘｐまでの鮮鋭度情報を表している（Ｘｐより右側座標は演算していないため不定である）。（ｃ）中にある鮮鋭度座標は鮮鋭度が存在する範囲の座標であり、後述する前後方向の位置判定で使用する。
【００３３】
（ｃ）は、（ｂ）のキー入力時の鮮鋭度情報と、後述する（ｄ）のホームポジションにおける鮮鋭度情報との差分情報を表す。（ｃ）中にある差分カウンタはセクター１の区間（後述）、差分情報の個数を正負毎にカウントアップした値で、右手の左右方向の移動有無、移動有りの場合の移動量判定に用いる。具体的にはカウンタ値０の場合は左右方向の手指の移動無し、カウンタ値＋１の場合は左方向に１列移動。カウンタ値−１の場合は右方向に１列移動、−２の場合は右方向に２列移動したと判定する。（ｃ）の例では差分カウンタ値が＋１のため、左方向に１列移動したと判定できる。
【００３４】
（ｄ）は、ホームポジションにおけるカメラ画像の輝度情報に対し、床上方１０ｍｍにおける水平方向１ラインの鮮鋭度情報を表す。（ｄ）中にあるセクターは次のように定義する。
【００３５】
セクター１：  画像左端から最初の鮮鋭度情報までの区間。
セクター２：  鮮鋭度情報にして６個分の区間（右手のサイズ分）。
セクター３：  鮮鋭度情報にして１個分の区間。
セクター４：  鮮鋭度情報にして６個分の区間（左手のサイズ分）。
【００３６】
以上の処理により、打鍵が行われた指の左右の位置、すなわち、左右方向に移動した手指の位置を判定することができる。
【００３７】
（第３の実施の形態）
（３）位置判定（前後判定）処理
前後方向の位置判定について説明する。
図３Ｄは、打鍵しようとする指の第１の移動手順である前後方向の移動位置の判定である前後判定処理（ステップＳ１２）の流れを示すフローチャート図である。
【００３８】
【表２】
2014120131.tif 000004
【００３９】
位置判定（前後判定）（ステップＳ１２）は、以下の２つの情報
・ホームポジションにおけるカメラ画像の輝度情報に対し、ｈ１における水平方向１ラインの鮮鋭度情報から求められる「指の中央」と「隣の指の中央」との間の指間隔についての平均値情報（表１）（ステップＳ１−２で取得済み）
・キー入力中におけるカメラ画像の輝度情報に対し、ｈ１における水平方向１ラインの鮮鋭度情報から求められる「指の中央」と「隣の指の中央」との間の指間隔についての平均値情報（表２）（ステップＳ１２−１）
および、以下のテーブル
・ホームポジションにおける指間隔の平均値情報と、キー入力中における指間隔の平均値情報とから、前後方向についての移動量／移動方向を記したテーブル（表３）
から、手指の前後方向の移動量と移動方向を演算し（ステップＳ１２−２）、キー入力中における手指の位置を判定する（ステップＳ１２−３）。
【００４０】
上記の位置判定（前後判定）について詳細に説明する。
図５は、（ａ）キー入力中のカメラ画像と、（ｂ）そのキー入力中におけるカメラ画像の輝度情報に対し、床上方１０ｍｍにおける水平方向１ラインの鮮鋭度情報を表す図である。鮮鋭度情報の演算は左端座標から行い、（ｂ）は、左端から座標Ｘｓまでの鮮鋭度情報を表している（Ｘｓより右側座標は演算していないため不定である）。（ｂ）中にある鮮鋭度座標は鮮鋭度が存在する座標を表し、その座標を使用して、指の中心と隣の指の中心の距離（平均値）を演算する。
【００４１】
【表３】
2014120131.tif 000005
【００４２】
表３は、位置判定において、表１のホームポジションでの指間隔（画素数で換算しても良い。）と、ホームポジションとカメラ７との距離（ｍｍ）と、の組に対して、表２のキー入力中の指間隔（画素数換算）と、移動幅（列）と、カメラ基準の移動方向（カメラ７に近づく、遠ざかるなど）を示している。予め、カメラ７と指との間の距離を変えたホームポジション数点について、それぞれ前後方向に移動した時の指間隔(平均値)を測定しておき、テーブルを作成する。尚、ホームポジションでの指間隔とキー入力中の指間隔とに差異がない場合には、前後移動無しであると判定することができる。
【００４３】
（第４の実施の形態）
（４）打鍵判定
図３Ｅは、打鍵しようとする指の第２の移動手順である指の上下方向の移動位置の判定である上下判定処理（ステップＳ１３）の流れを示すフローチャート図である。図６Ａは、（ａ）キー入力中のカメラ画像と、（ｂ）そのキー入力中におけるカメラ画像の輝度情報に対し、床上方３ｍｍ（ｈ２）における水平方向１ラインの鮮鋭度情報を表す図である。図６Ｂは、（ａ）キー入力中のカメラ画像と、（ｂ）そのキー入力中におけるカメラ画像の輝度情報に対し、床上方１０ｍｍ（ｈ１）における水平方向１ラインの鮮鋭度情報を表す図である。
【００４４】
打鍵判定（ステップＳ１３）は、以下の情報をベースに打鍵の有無を判定する。
・キー入力中におけるカメラ画像の輝度情報に対し、床上方３ｍｍ（ｈ２）における水平方向１ラインの鮮鋭度情報により、打鍵の有無を判定する（ステップＳ１３−１）。
【００４５】
ステップＳ１３−１で打鍵ありと判定した場合（ステップＳ１３−２でＹＥＳ）、以下の２つの情報について、
・キー入力中におけるカメラ画像の輝度情報に対し、床上方１０ｍｍ（ｈ１）における水平方向１ラインの鮮鋭度情報
・キー入力中におけるカメラ画像の輝度情報に対し、床上方３ｍｍ（ｈ２）における水平方向１ラインの鮮鋭度情報
位置関係を比較することで、打鍵した指を判定する（ステップＳ１３−３）。
【００４６】
上記の打鍵判定について詳細に説明する。
図６Ａはキー入力中のカメラ画像（ａ）、キー入力中におけるカメラ画像の輝度情報に対し、床上方３ｍｍ（ｈ２）における水平方向１ラインの鮮鋭度情報（ｂ）を示す図である。
【００４７】
鮮鋭度情報の演算は、左端座標から行い、図６Ａ（ｂ）は図６Ａ（ａ）の左端から座標Ｘｒまでの鮮鋭度情報を表している（Ｘｒより右側座標は演算していないため不定となる）。
【００４８】
図６Ａ（ｂ）中にある打鍵座標は、鮮鋭度が存在する座標を表し、図では座標Ｘｄ１，Ｘｄ２に鮮鋭度情報があることから、これらの座標位置について３ｍｍライン以下に手指が存在することになり、打鍵ありと判定することができる（ただし、この時点ではどの手指が打鍵したかまでは特定できない）。
【００４９】
次に、打鍵した手指の特定処理について説明する。図６Ｂ（ａ）はキー入力中のカメラ画像(図６Ａ（ａ）と同じ画像）である。図６Ｂ（ｂ）は図６Ｂ（ａ）のキー入力中におけるカメラ画像の輝度情報に対し、床上方１０ｍｍにおける水平方向１ラインの鮮鋭度情報である。
【００５０】
図６Ｂ（ｂ）は図６Ｂ（ａ）の左端から座標Ｘｓまでの鮮鋭度情報を表している(Ｘｓは図６Ａ（ａ）のＸｒより時間的に後である）。図６Ｂ（ｂ）中の鮮鋭度座標は鮮鋭度が存在する座標を表す。図６Ｂで打鍵ありと判定した場合（ステップＳ１３−２でＹＥＳ）、図６Ａ（ｂ）の鮮鋭度座標と、図６Ｂ（ｂ）の鮮鋭度座標とを比較することで、打鍵した指を特定する。この例の場合、Ｘｄ１＝Ｘｅ４、Ｘｄ２＝Ｘｅ５となることから、打鍵した指は人差し指であると特定できる（ステップＳ１３−３）。判定により処理が終了する（Ｅｎｄ）。
【００５１】
【表４】
2014120131.tif 000006
【００５２】
【表５】
2014120131.tif 000007
【００５３】
表４は、図６Ａの下図の打鍵座標と鮮鋭度との関係を示す表であり、表５は、図６Ｂの下図の打鍵座標と鮮鋭度情報との関係を示す図である。この例では、上記のように、Ｘｄ１＝Ｘｅ４、Ｘｄ２＝Ｘｅ５となることから（太線内の数値参照）、打鍵した指は人差し指であると特定することができる。すなわち、第１の鮮鋭度と第２の鮮鋭度とが一致又は近似した手指が打鍵されたと判定することができる。
【００５４】
以上に説明したように、本実施の形態による仮想キーボート（入力判定装置）によれば、カメラを使用した仮想キーボードＫの機能において、手指の位置判定方法として、最小二乗法を使った指の大きさ検知に比べて、簡便な演算で算出可能な「カメラ画像の鮮鋭度情報」を使用することで、位置判定の高速処理が可能となり、処理能力が低い端末においても、仮想キーボードＫの機能の実現が可能となる。
【００５５】
以下に、実際の仮想キーボードＫにおけるキー入力と鮮鋭度情報との関係について、より具体的に説明を行う。
【００５６】
図７Ａは、左右移動の位置判定の詳細を示す図である。上側がカメラ画像、下側が対応する鮮鋭度情報であり、左側がホームポジション、右側は手が左右に移動した状態である。これらの図より、左手が矢印のように移動していることが鮮鋭度情報の座標位置の移動によりわかる。
【００５７】
図７Ｂは、前後移動の位置判定の詳細を示す図である。上側がカメラ画像、下側が対応する鮮鋭度情報であり、左側がホームポジション、右側は手が前後に移動した状態である。これらの図より、右手の指間隔が矢印のようにαだけ変化したことが鮮鋭度情報の座標位置の移動によりわかる。
【００５８】
図７Ｃは、打鍵に伴う指の移動の詳細を示す図である。上側がカメラ画像、中側が１０ｍｍの場合の鮮鋭度情報、下側が３ｍｍの場合の鮮鋭度情報であり、左側が非タッチ、右側は右手中指がタッチした状態である。これらの図より、右手の中指の位置の下側が３ｍｍの場合の鮮鋭度情報だけが変化したことが鮮鋭度情報の座標位置の移動によりわかる。
【００５９】
本実施の形態によれば、ｈ１における鮮鋭度の位置座標の変化から左右移動を、ｈ１における鮮鋭度の位置座標の指の間隔から前後移動を、ｈ１よりも低い位置（ｈ２）における鮮鋭度の位置座標とｈ１における鮮鋭度の位置座標との差異から打鍵判定を行うことができる。
【００６０】
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００６１】
例えば、上記ｈ１、ｈ２は、判定結果をフィードバックして、良好な判定結果が得られるように、調整することができるようにしても良く、調整を自動的又は手動で行うことができるようにしても良い。
【００６２】
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
【００６３】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００６５】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。
【００６６】
（付記）
本発明は、以下の開示を含む。
（１）
手指の撮像画像に基づいて、手指の位置を判定できる第１の高さにおける水平方向の第１の鮮鋭度と、前記第１の高さとは異なり打鍵の有無を判定できる第２の高さにおける第２の鮮鋭度と、を演算する鮮鋭度情報演算部と、
前記第１の鮮鋭度をもとにホームポジションにおける第１の指間隔と、手指移動後の第２の指間隔と、を演算する指間隔演算部と、
ホームポジションにおける手指の第１の鮮鋭度と入力時の手指の第１の鮮鋭度との位置関係とに基づいて左右方向の移動量と移動方向を演算し、キー入力時における仮想キーボードのキーの左右方向の手指の位置を判定するとともに、前記指間隔演算部により演算された前記第１の指間隔と前記第２の指間隔とから手指の前後方向の移動量を演算し、キー入力時における仮想キーボードのキーの前後方向の手指の位置を判定する位置判定部と、
前記第２の鮮鋭度から打鍵の有無を判定する打鍵判定部と
を有することを特徴とする仮想キーボード入力判定装置。
手指の撮像画像において、手指の位置を判定できる第１の高さにおける水平方向の第１の鮮鋭度から２次元平面上の打鍵位置を、第２の高さにおける水平方向の第２の鮮鋭度から打鍵の有無を演算する鮮鋭度情報演算部と、ホームポジションと入力時の鮮鋭度の位置関係に基づいて左右方向の手指の移動量を求め、鮮鋭度に基づいて指間隔を求め、指間隔に基づいて手指の前後方向の移動を求めることで、仮想キーボードに対する打鍵した位置を特定することができる。
第１の鮮鋭度と第２の鮮鋭度とが一致又は近似した手指が打鍵されたと判定することができる。
（２）
前記位置判定部は、前記指間隔演算部により演算された前記第１の指間隔と前記第２の指間隔とから、手指の移動幅と手指の前後の移動方向の関係性を示す位置判定テーブルを参照して、手指の前後方向の移動に基づいて仮想キーボードのキーの前後方向の手指の位置を判定することを特徴とする（１）に記載の仮想キーボード入力判定装置。
（３）
前記第１の鮮鋭度を測定する位置は、打鍵の有無にかかわらずに手指の位置を判定可能な高さであり、第２の鮮鋭度を測定する位置は、打鍵の有無を判定することができる程度の高さであることを特徴とする（１）又は（２）に記載の仮想キーボード入力判定装置。
（４）
前記打鍵判定部により打鍵があると判定されると、前記位置判定部によって判定された打鍵位置を制御部に通知することを特徴とする（１）から（３）までのいずれか１に記載の仮想キーボード入力判定装置。
（５）
前記手指の撮像画像を取得する撮像部と、
請求項（１）から（４）までのいずれか１項に記載の仮想キーボード入力判定装置と
を備えた端末装置。
（６）
仮想キーボード入力判定方法であって、
撮像部により撮像された手指の撮像画像において、手指の位置を判定できる第１の高さにおける水平方向の第１の鮮鋭度と、前記第１の高さとは異なり打鍵の有無を判定できる第２の高さにおける第２の鮮鋭度と、を演算する鮮鋭度情報演算ステップと、
前記第１の鮮鋭度をもとにホームポジションにおける第１の指間隔と、手指移動後の第２の指間隔と、を演算する指間隔演算ステップと、
ホームポジションにおける手指の第１の鮮鋭度と入力時の手指の第１の鮮鋭度との位置関係とに基づいて左右方向の移動量と移動方向を演算し、キー入力時における仮想キーボードのキーの左右方向の手指の位置を判定するとともに、前記指間隔演算部により演算された前記第１の指間隔と前記第２の指間隔とから手指の前後方向の移動量を演算し、キー入力時における仮想キーボードのキーの前後方向の手指の位置を判定する位置判定ステップと、
を有することを特徴とする仮想キーボード入力判定方法。
（７）
コンピュータに、（６）に記載の仮想キーボード入力判定方法を実行させるためのプログラム。
【産業上の利用可能性】
【００６７】
本発明は、仮想キーボード入力判定装置に利用可能である。
【符号の説明】
【００６８】
Ａ…携帯端末装置、ＡＴ…アンテナ、Ｋ…仮想キーボード、１…無線部、３…操作部、５…表示部、７…撮像部（カメラ）、１１…制御部（ＣＰＵ）、１５…メモリ部、１７…キーコード生成部、２１…鮮鋭度情報演算部、２３…指間隔演算部、２５…移動量／移動方向判定テーブル、２７…位置判定部。
【図１】
2014120131.tif 000008
【図２Ａ】
2014120131.tif 000009
【図２Ｂ】
2014120131.tif 000010
【図３Ａ】
2014120131.tif 000011
【図３Ｂ】
2014120131.tif 000012
【図３Ｃ】
2014120131.tif 000013
【図３Ｄ】
2014120131.tif 000014
【図３Ｅ】
2014120131.tif 000015
【図４】
2014120131.tif 000016
【図５】
2014120131.tif 000017
【図６Ａ】
2014120131.tif 000018
【図６Ｂ】
2014120131.tif 000019
【図７Ａ】
2014120131.tif 000020
【図７Ｂ】
2014120131.tif 000021
【図７Ｃ】
2014120131.tif 000022