(57)【要約】【課題】キー入力の操作性を低下させることなくポインティングデバイス機能を備える入力装置を提供する。【解決手段】本発明の入力装置１００は、ベースと当該ベース上に配列された導電体からなる複数のキー１１０との間に、キー１１０と電気的に接続された静電容量検出部を備える操作部２１０と、静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出し、有効領域から予め記憶されたキー１１０の形状を検出する形状検出部２２０と、形状検出部２２０により有効領域からキー１１０の形状が検出された場合に操作体が接触しているキー１１０が所定時間以上押下されていないか否かを判定する判定部と、キー１１０が所定時間以上押下されていない場合に、操作部２１０表面に接触して移動する操作体の動きに応じて、表示部２６５に表示されているオブジェクトを移動させる表示処理部２６０と、を備える。【選択図】図５
2010244302.tif 000002
【特許請求の範囲】
【請求項１】
ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、前記キーと電気的に接続され、操作体との近接距離を静電容量の変化により検出する静電容量検出部を備える操作部と、
前記静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出し、前記有効領域から予め記憶された前記キーの形状を検出する形状検出部と、
前記形状検出部により前記有効領域から前記キーの形状が検出された場合に前記操作体が接触しているキーが所定時間以上押下されていないか否かを判定する判定部と、
前記キーが所定時間以上押下されていない場合に、前記操作部表面に接触して移動する前記操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる表示処理部と、
を備える、入力装置。
【請求項２】
前記有効領域の重心位置を算出する重心位置算出部と、
前記重心位置の移動量を算出する移動量算出部と、
を備え、
前記表示処理部は、算出された前記移動量に応じて、表示部に表示されているオブジェクトを移動させる、請求項１に記載の入力装置。
【請求項３】
前記形状検出部は、前記有効領域から前記操作体の形状をさらに検出し、
前記重心位置判定部は、前記有効領域のうち前記操作体の形状部分における重心位置を算出する、請求項２に記載の入力装置。
【請求項４】
前記形状検出部により検出された前記操作体の形状から、前記操作部表面に対する前記操作体の傾きの程度を判定する傾き判定部を備え、
前記表示処理部は、前記傾き判定部により前記操作体の傾きが所定の値以下であると判定された場合に、前記操作部表面に接触して移動する前記操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる、請求項１に記載の入力装置。
【請求項５】
前記静電容量検出部および前記形状検出部による検出結果から取得される前記操作体の状態の変化からジェスチャを認識するジェスチャ認識部と、
前記ジェスチャと前記表示部の表示内容を操作する操作内容とを関連付けて記憶するジェスチャ記憶部と、
を備え、
前記ジェスチャ認識部は、前記操作体の状態の変化からジェスチャを認識すると、前記ジェスチャ記憶部から前記認識されたジェスチャに対応する操作内容を取得して前記表示処理部へ出力し、
前記表示処理部は、前記ジェスチャ認識部から入力された前記操作内容に基づいて、前記表示部の表示内容を処理する、請求項４に記載の入力装置。
【請求項６】
前記形状検出部は、前記操作体表面に接触している前記操作体の数を検出し、
前記表示処理部は、前記形状検出部により検出された前記操作体の数に応じて、前記表示部に表示されているオブジェクトを移動させる際の処理モードを変更する、請求項１に記載の入力装置。
【請求項７】
操作体との近接距離を静電容量の変化により検出する静電容量検出部により、ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、前記キーと電気的に接続された前記静電容量検出部を備える操作部の表面に前記操作体が近接または接触することによって変化する静電容量を検出するステップと、
前記静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出するステップと、
前記有効領域から予め記憶された前記キーの形状を検出するステップと、
前記有効領域から前記キーの形状が検出された場合に前記操作体が接触しているキーが所定時間以上押下されていないか否かを判定するステップと、
前記キーが所定時間以上押下されていない場合に、前記操作部表面に接触して移動する前記操作体の動きに応じて、表示部に表示されているオブジェクトを移動させるステップと、
を含む、入力処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置および入力処理方法に関し、より詳細には、キー入力およびポインティング操作の可能な入力装置およびこれを用いた入力処理方法に関する。
【背景技術】
【０００２】
従来、ポインティングデバイスとしてマウス機器を使用するコンピュータにおいて、ポインティング操作はマウス機器自体の移動によって行われる。このため、マウス機器を移動させるためのスペースが必要であった。また、ノート型パーソナルコンピュータに代表される小型のコンピュータには、コンピュータの一部にマウスパッドが設けられており、マウスパッド上で指を移動させることによりポインティング操作を行うことができる。しかし、近年では、例えばモバイルＰＣのように装置がさらに小型化されており、マウスパッドのスペースを確保することも物理的に困難となっている。
【０００３】
このような問題に対して、例えば特許文献１には、キーボードに配列された各キーのキートップに平面のタッチパッドを設けたポインティングデバイス機能付きキーボードが開示されている。かかるキーボートを用いることにより、指や手のひらとタッチパッドとの接触によってマウス操作を行うことができ、操作性を向上させることができる。しかし、特許文献１に開示された手法では、タッチセンサ用素子をキートップに設けているため、タッチセンサ用素子の数やその配置位置はキーの数や位置に依存してしまい、タッチセンサ用素子の数やその配置位置に制約が生じるという問題があった。
【０００４】
これに対して、キートップ側にタッチセンサ用素子を配置せずにキーボード上の手の動きに応じてポインティング操作を行う手法として、例えば特許文献２に開示されたキーシートをキートップとキーボードとの間に設ける手法が考えられる。特許文献２に開示されたキーシートは、例えば図１６に示すように、近接検知型情報表示装置の表示パネル１０のセンサ手段２０として適用されている。
【０００５】
表示パネル１０は、図１６に示すように、例えば液晶表示素子や有機ＥＬ素子などからなる二次元表示手段１２の裏面に保護板１４を貼着し、二次元表示手段１２の表面にキーシートであるセンサ手段２０を設けることにより構成される。センサ手段２０は、格子状に配置された複数のワイヤ電極からなる電極２２の両面にガラス板２４、２６が設けられている。電極２２を構成するワイヤ電極には、同一方向に配列されたワイヤ電極毎に、ガラス板２６から導出された端子から高周波信号が交互に印加される。これにより、センサ手段２０が静電容量型のタッチセンサとして機能する。かかるセンサ手段２０は、静電容量の変化を検知することによって、操作体である例えば手Ｈと表示パネル１０の表面１０ａとの距離Ｌを検出することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１８４２１号公報
【特許文献２】特開２００８−１１７３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば特許文献２に開示されたキーシートをキートップとキーボードとの間に設ける手法の場合、キーボード上の手の動きを検知することはできるが、ポインティング操作を意図してユーザがその動きを行ったかどうかを判別することはできない。このため、ユーザがキーを押下する場合にもポインティングカーソルが反応してしまい、キー入力の操作性を低下させてしまうという問題があった。したがって、かかる手法では、キーボード上の手の動きを大まかに検出して、ジェスチャとして認識する程度の用途として適用することができなかった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、キー入力の操作性を低下させることなく、ポインティングデバイス機能を備えることが可能な、新規かつ改良された入力装置および入力処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、キーと電気的に接続され、操作体との近接距離を静電容量の変化により検出する静電容量検出部を備える操作部と、静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出し、有効領域から予め記憶されたキーの形状を検出する形状検出部と、形状検出部により有効領域からキーの形状が検出された場合に操作体が接触しているキーが所定時間以上押下されていないか否かを判定する判定部と、キーが所定時間以上押下されていない場合に、操作部表面に接触して移動する操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる表示処理部と、を備える入力装置が提供される。
【００１０】
本発明によれば、ベース上に配列された複数のキーによりキー入力ができる入力装置を、操作体が操作部表面に接触し、かつ所定時間以上キーが押下されていない場合に、表示部に表示されたオブジェクトを移動させる操作手段として機能させる。これにより、キー入力の操作性を低下させることなく、入力装置の省スペース化を図ることができる。
【００１１】
ここで、本発明の入力装置は、有効領域の重心位置を算出する重心位置算出部と、重心位置の移動量を算出する移動量算出部と、を備えることもできる。このとき、表示処理部は、算出された移動量に応じて、表示部に表示されているオブジェクトを移動させる。
【００１２】
また、形状検出部は、有効領域から操作体の形状をさらに検出することもできる。このとき、重心位置判定部は、有効領域のうち操作体の形状部分における重心位置を算出するようにしてもよい。
【００１３】
さらに、本発明の入力装置は、形状検出部により検出された操作体の形状から、操作部表面に対する操作体の傾きの程度を判定する傾き判定部を備えることもできる。このとき、表示処理部は、傾き判定部により操作体の傾きが所定の値以下であると判定された場合に、操作部表面に接触して移動する操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる。
【００１４】
また、入力装置は、静電容量検出部および形状検出部による検出結果から取得される操作体の状態の変化からジェスチャを認識するジェスチャ認識部と、ジェスチャと表示部の表示内容を操作する操作内容とを関連付けて記憶するジェスチャ記憶部と、を備えることもできる。このとき、ジェスチャ認識部は、操作体の状態の変化からジェスチャを認識すると、ジェスチャ記憶部から認識されたジェスチャに対応する操作内容を取得して表示処理部へ出力する。そして、表示処理部は、ジェスチャ認識部から入力された操作内容に基づいて、表示部の表示内容を処理する。
【００１５】
さらに、形状検出部は、操作体表面に接触している操作体の数を検出するようにすることもできる。このとき、表示処理部は、形状検出部により検出された操作体の数に応じて、表示部に表示されているオブジェクトを移動させる際の処理モードを変更することもできる。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、操作体との近接距離を静電容量の変化により検出する静電容量検出部により、ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、キーと電気的に接続された静電容量検出部を備える操作部の表面に操作体が近接または接触することによって変化する静電容量を検出するステップと、静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出するステップと、有効領域から予め記憶されたキーの形状を検出するステップと、有効領域からキーの形状が検出された場合に操作体が接触しているキーが所定時間以上押下されていないか否かを判定するステップと、キーが所定時間以上押下されていない場合に、操作部表面に接触して移動する操作体の動きに応じて、表示部に表示されているオブジェクトを移動させるステップと、を含む、入力処理方法が提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、キー入力の操作性を低下させることなく、ポインティングデバイス機能を備えることが可能な入力装置および入力処理方法を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態にかかる入力装置の一部の概略構成を示す説明図である。
【図２】同実施形態にかかる入力装置の静電センサにより検出される静電容量を示す説明図である。
【図３】同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。
【図４】同実施形態にかかる入力装置のハードウェア構成を示すブロック図である。
【図５】同実施形態にかかる入力装置が接続された情報処理装置の機能構成を示す機能ブロック図である。
【図６】同実施形態にかかる入力装置を用いたカーソル操作方法を示すフローチャートである。
【図７】操作体の動作とそれによるカーソル移動を示す説明図である。
【図８】同実施形態にかかる操作体の状態に応じた操作方法を示すフローチャートである。
【図９】指が寝ている状態の静電容量の状態を示す説明図である。
【図１０】指が立っている状態の静電容量の状態を示す説明図である。
【図１１】指を回転させた状態の静電容量の状態を示す説明図である。
【図１２】ジェスチャの例を示す説明図である。
【図１３】ジェスチャモード時のカーソルの表示例を示す説明図である。
【図１４】カーソルモード時のカーソルの表示例を示す説明図である。
【図１５】カーソルモード時のカーソルの表示例を示す説明図である。
【図１６】従来の近接検知型情報表示装置の本体部分である表示パネルの構成を示す概略断面図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
なお、説明は以下の順序で行うものとする。
１．入力装置の構成（入力装置の概略構成、ハードウェア構成、機能構成）
２．入力装置における入力処理方法
（カーソル操作方法、操作体の状態に応じた操作方法）
【００２１】
＜１．入力装置の構成＞
［入力装置の概略構成］
まず、図１および図２に基づいて、本発明の実施形態にかかる入力装置１００の概略構成について説明する。なお、図１は、本実施形態にかかる入力装置１００の一部の概略構成を示す説明図である。図２は、本実施形態にかかる入力装置１００の静電センサにより検出される静電容量を示す説明図である。
【００２２】
本実施形態にかかる入力装置１００は、複数のキー１１０が配列されたキーボードである。入力装置１００は、キー１１０を押下して情報を入力するための入力手段であるとともに、本実施形態では、表示部に表示されたオブジェクトである例えばカーソルを操作する操作手段としても用いられる。
【００２３】
入力装置１００は、図１に示すように、複数のキー１１０とキーボード１３０との間に、操作体との近接距離を検出可能な静電容量型のタッチセンサ１２０を備える。タッチセンサ１２０は、キーボード１３０上に配列されたキー１１０とキー１１０との間に配置され、各キー１１０と電気的に接続されている。タッチセンサ１２０には、例えば特許文献２に記載のセンサ手段を用いることができる。タッチセンサ１２０は、格子状（例えば１０×７）に配置された静電センサを備えており、静電容量の変化によってその値を常時変化させる。静電センサに操作体である指が近付いたり触れたりした場合に、静電センサにより検知される静電容量が増加する。この静電容量の増加量の変化に基づいてタップ操作などのインタラクションを行うことができる。
【００２４】
また、各静電センサの静電容量は同時に取得することが可能である。すべての静電センサの静電容量の変化を同時に検出し、補間することによって近接または接触している指の形を検出することが可能である。さらに、本実施形態にかかる入力装置１００のキー１１０は、例えばアルミやＩＴＯ膜等の導電性物質から形成されている。このため、指などの操作体がキー１１０に接触すると、当該キー１１０がタッチセンサ１２０と電気的に接続されていることにより、キー部分の静電容量が増加して略均一の値をとるようになる。これにより、静電センサによって操作体が接触しているキー１１０の形状も検出することが可能になる。
【００２５】
例えば、図２に示すように、指Ｆ１が「Ｆ」キー１１０に接触している場合、図２の下図に示すように、タッチセンサ１２０に近接する指Ｆ１の形状１２２ａと指Ｆ１が接触するキーの形状１１２ｂとが静電容量の高い有効領域として検出される。また、指Ｆ２がキー１１０に近接している状態では、図２の下図に示すように、指の形状１２２ｃのみが静電容量の高い有効領域として検出される。このように、静電容量の高い有効領域にキーの形状が存在するか否かによって、操作体がキー１１０に接触しているか否かを判定することができる。
【００２６】
本実施形態では、このような入力装置１００を、通常はキー入力のための入力手段として使用する一方、操作体がキー１１０に接触し、かつキー１１０を押下していない状態では、表示部に表示されるカーソル等の操作手段として使用する。これにより、ポインティング操作のために別途の入力手段を設ける必要がなく、キー入力の操作性を低下させずにポインティング操作を行うことができる。以下、本実施形態にかかる入力装置１００の構成とその機能について詳細に説明する。
【００２７】
［ハードウェア構成］
まず、図３および図４に基づいて、本実施形態にかかる入力装置１００を備える情報処理装置２００のハードウェア構成について説明する。なお、図３は、本実施形態にかかる情報処理装置２００のハードウェア構成を示すブロック図である。図４は、本実施形態にかかる入力装置１００のハードウェア構成を示すブロック図である。本実施形態にかかる情報処理装置２００は、例えばノートブック型パーソナルコンピュータやモバイルＰＣ等である。
【００２８】
本実施形態の情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、ホストバス２０４ａとを備える。また、情報処理装置２００は、ブリッジ２０４と、外部バス２０４ｂと、インタフェース２０５と、入力装置２０６と、出力装置２０７と、ストレージ装置（ＨＤＤ）２０８と、ドライブ２０９と、接続ポート２１１と、通信装置２１３とを備える。
【００２９】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２００内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４ａにより相互に接続されている。
【００３０】
ホストバス２０４ａは、ブリッジ２０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０４ｂに接続されている。なお、必ずしもホストバス２０４ａ、ブリッジ２０４および外部バス２０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【００３１】
入力装置２０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。情報処理装置２００のユーザは、該入力装置２０６を操作することにより、情報処理装置２００に対して各種のデータを入力したり処理動作を指示したりすることができる。本実施形態では、入力装置２０６として図１に示す入力装置１００が設けられている。
【００３２】
本実施形態にかかる入力装置１００は、図４に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、出力インタフェース（出力Ｉ／Ｆ）１０３と、タッチセンサ１０４と、キー１０５とから構成される。ＣＰＵ１０１は、入力装置１００の演算処理装置および制御装置として機能し、各種プログラムに従って入力装置１００内の動作全般を制御する。ＲＡＭ１０２は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。出力Ｉ／Ｆ１０３は、入力装置１００をホスト側へ接続する接続部であって、例えばＵＳＢなどである。タッチセンサ１０５は、キー１０５との近接および接触を検出するセンサであって、図１のタッチセンサ１２０に対応する。本実施形態のタッチセンサ１０５は、上述したように静電式のタッチセンサを用いている。キー１０５は、情報が入力される入力部であって、図１のキー１１０に対応する。キー１０５を押下することにより、キー１０５に関連付けられた情報が出力Ｉ／Ｆ１０３を介してホスト側へ出力される。
【００３３】
図３に戻り、出力装置２０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２０７は、スピーカおよびヘッドホンなどの音声出力装置を含む。
【００３４】
ストレージ装置２０８は、情報処理装置２００の記憶部の一例であるデータ格納用の装置である。ストレージ装置２０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２０８は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）により構成される。このストレージ装置２０８は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
【００３５】
ドライブ２０９は、記憶媒体用リーダライタであり、情報処理装置２００に内蔵、あるいは外付けされる。ドライブ２０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ２０３に出力する。
【００３６】
接続ポート２１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置２１３は、例えば、通信網２０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１３は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００３７】
［機能構成］
以上、本実施形態にかかる情報処理装置２００およびこれと接続されて用いられる入力装置１００のハードウェア構成について説明した。次に、図５に基づいて、本実施形態にかかる入力装置１００が接続された情報処理装置２００の機能構成について説明する。なお、図５は、本実施形態にかかる入力装置１００が接続された情報処理装置２００の機能構成を示す機能ブロック図である。図５では、情報処理装置２００のうち、入力装置１００をポインティング操作を行うための手段として機能させるための機能部および関連する機能部のみを記載している。
【００３８】
本実施形態にかかる情報処理装置２００は、図５に示すように、操作部２１０と、形状検出部２２０と、キー押下判定部２３０と、重心位置算出部２４０と、重心位置記憶部２４５と、移動量算出部２５０と、表示処理部２６０と、表示部２６５と、傾き判定部２７０と、ジェスチャ認識部２８０と、ジェスチャ記憶部２８５とを備える。
【００３９】
操作部２１０は、キーの押下による情報入力を行うとともに、表示部２６５に表示されるカーソルを移動させるポインティング操作を行うための機能部である。操作部２１０は、入力部２１２と、検出部２１４とにより構成される。入力部２１２は、情報を入力するための機能部であって、図１に示す入力装置１００のキー１１０に相当する。検出部２１４は、入力部２１２に操作体が近接または接触しているか否かを検出する機能部である。検出部２１４は、図１に示すタッチセンサ１２０に対応し、操作体と入力部２１２との間の距離を静電容量の大きさにより検出する。検出部２１４は、操作体と入力部２１２との間の距離を検出結果として形状検出部２２０および傾き判定部２７０へ出力する。
【００４０】
形状検出部２２０は、検出部２１４から入力された検出結果に基づいて、所定の値以上の静電容量を有する有効領域の形状を検出する。検出部２１４が検出する静電容量の大きさは、操作体が入力部２１２に近づく程大きくなる。この特徴を利用して、形状検出部２２０は、所定の値以上の静電容量を有する有効領域を特定することができる。形状検出部２２０は、特定した有効領域から操作体の形状やキーの形状等を検出し、キー押下判定部２３０および傾き判定部２７０へ形状の検出結果を出力する。
【００４１】
キー押下判定部２３０は、入力部２１２であるキーが操作体により押下されているか否かを判定する。キー押下判定部２３０は、入力部２１２が押下による情報入力の手段として用いられているか、あるいはポインティング操作を行うための手段として用いられているかを判定するため、キーの押下を判定する。キー押下判定部２３０は、キーが押下されているか否かを判定した判定結果を重心位置算出部２４０へ出力する。
【００４２】
重心位置算出部２４０は、入力部２１２に近接または接近している操作体の重心位置を算出する。重心位置算出部２４０は、入力部２１２がポインティング操作を行うための手段として用いられている場合に機能し、例えば形状検出部２２０により検出された操作体の形状から操作体の重心位置を算出する。重心位置算出部２４０は、算出した重心位置を重心位置記憶部２４５に記録するとともに、移動量算出部２５０へ出力する。
【００４３】
重心位置記憶部２４５は、重心位置算出部２４０により算出された重心位置を時間とともに記憶する。重心位置記憶部２４５に記憶された各時間における重心位置は、移動量算出部２５０に参照され、ポインティング操作により操作されるカーソル等の移動量算出に用いられる。
【００４４】
移動量算出部２５０は、ポインティング操作により操作されるカーソル等の移動量の算出を行う。移動量算出部２５０は、現在の操作体の重心位置と前時間における操作体の重心位置とから表示部２６５に表示されているカーソルの移動方向および移動量を算出し、表示処理部２６０へ出力する。
【００４５】
表示処理部２６０は、移動量算出部２５０により算出されたカーソルの移動方向および移動量に基づいて、表示部２６５に表示されているカーソルの表示処理を行う。表示処理部２６０は、カーソルの表示処理結果を表示情報として表示部２６５へ出力する。表示部２６５は、表示処理部２６０から入力された表示情報に基づいて、カーソルを表示する。また、表示処理部２６０は、ジェスチャ認識部２８０から入力された操作内容に基づいて、表示部２６５の表示処理を行う。なお、表示部２６５は、図３の出力装置２０７に対応し、例えばＣＲＴディスプレイ装置、液晶ディスプレイ装置、ＯＬＥＤ装置などの表示装置を用いることができる。
【００４６】
傾き判定部２７０は、入力部２１２の入力面に対する操作体の傾きを判定する。入力部２１２の入力面に対する操作体の傾きによって、検出部２１４により検出される操作体の形状は変化する。かかる特性を利用して、傾き判定部２７０は、検出部２１４の検出結果や形状検出部２２０による検出結果から操作体の形状を特定することにより、入力部２１２の入力面に対する操作体の傾きを判定することができる。傾き判定部２７０は、検出結果をジェスチャ認識部２８０へ出力する。
【００４７】
ジェスチャ認識部２８０は、操作体の動きから、ユーザが行っているジェスチャを認識する。ジェスチャ認識部２８０は、ジェスチャを認識すると、ジェスチャ記憶部２８５から、認識したジェスチャに対応する操作を取得し、移動量算出部２５０および表示処理部２６０へ出力する。ジェスチャ記憶部２８５は、ジェスチャと操作内容とを関連付けて記憶する記憶部である。ジェスチャ記憶部２８５に記憶されている情報は、予め設定することもでき、ジェスチャとホスト側における操作内容とを関連付けて記憶させることもできる。
【００４８】
本実施形態では、これらの機能部のうち、表示処理部２６０および表示部２６５を除く機能部は入力装置に備えられる。なお、本発明はかかる例に限定されず、例えば移動量算出部２５０、ジェスチャ認識部２８０およびジェスチャ記憶部２８５をホスト側へ設けてもよい。
【００４９】
以上、本実施形態にかかる情報処理装置２００の機能構成について説明した。本実施形態にかかる入力装置１００は、上述したように操作部２１０をキーの押下により情報を入力する入力手段として用いることもでき、表示部２６５に表示されるカーソルを移動させるポインティング操作を行うための操作手段として用いることもできる。このとき、操作部２１０を用いてキー入力の操作性を低下させることなくポインティング操作を行うため、操作体が入力部２１２であるキーに接触し、かつキーを押下していない場合にのみ、ポインティング操作を可能とする。すなわち、複数のキーが配列された操作部表面上に操作体を接触させ、操作部表面上に接触させた状態で操作体を移動させることにより、表示部２６５に表示されたカーソルを移動させることができる。
【００５０】
＜２．入力装置における入力処理方法＞
以下、図６および図７に基づいて、本実施形態にかかる入力装置１００を用いたカーソル操作方法について説明する。なお、図６は、本実施形態にかかる入力装置１００を用いたカーソル操作方法を示すフローチャートである。図７は、操作体の動作とそれによるカーソル移動を示す説明図である。
【００５１】
［カーソル操作方法］
本実施形態にかかる入力装置１００を用いたカーソル操作は、情報処理装置２００のホスト側で、入力装置１００によりポインティング操作を行うためのアプリケーションが起動されることにより可能となる。アプリケーションが起動されると、タッチパネル１２０の静電容量の変化を監視し続けるスレッドが生成される。その中で、まず、形状検出部２２０は、タッチセンサ１２０の情報を取得し補間する（ステップＳ１００）。タッチパネル１２０には、複数の静電センサが設けられている。ステップＳ１００において、形状検出部２２０は、各静電センサにより検出された静電容量を取得し、アプリケーション起動時の静電容量と比較して差分を算出し、任意の分解能に補間する。分解能は、例えば表示部２６５の解像度に合わせて決定される。これにより、図２の下図に示すような静電容量の大きさの分布を表す二次元情報が生成される。
【００５２】
次いで、形状検出部２２０は、ステップＳ１００において生成された二次元情報から、キーの形状を検出する（ステップＳ１０２）。入力装置１００には、当該入力装置１００のキーの形状およびサイズが予め設定されている。例えば、一辺の長さが約１２ｍｍの矩形であることが、キーの形状およびサイズとして図示しない記憶部に記憶されている。形状検出部２２０は、二次元情報から予め設定されたキーの形状およびサイズが存在するか否かを検出する。形状検出部２２０は、二次元情報から予め設定されたキーの形状およびサイズと一致する形状を検出すると、操作体がキーに接触していると判定し（ステップＳ１０４）、キー押下判定部２３０にキーの押下を判定させる（ステップＳ１０６）。
【００５３】
一方、形状検出部２２０により二次元情報から予め設定されたキーの形状およびサイズと一致する形状が検出されない場合には、操作体はキーと接触していないと判定され、ポインティング操作をする状態ではないと判定される。したがって、すでに記憶されている重心位置が存在する場合にはリセットして（ステップＳ１０８）、当該処理を終了し、ステップＳ１００から再度処理を開始する。
【００５４】
ステップＳ１０６に戻り、キー押下判定部２３０は、ステップＳ１０４において二次元情報からキーの形状およびサイズと一致する形状が検出された時点から所定の時間内当該キーの押下がされていないか否かを判定する。そして、所定の時間キーの押下が検出されなければ、ユーザは入力装置１００を用いてポインティング操作を行うものと判断し、ステップＳ１１０以降のカーソルの移動量の算出処理を開始する。一方、所定の時間キーの押下が検出された場合には、ユーザはポインティング操作ではなくキー入力を行うと判断する。したがって、すでに記憶されている重心位置が存在する場合にはリセットして（ステップＳ１０８）、当該処理を終了し、ステップＳ１００から再度処理を開始する。
【００５５】
ステップＳ１０８にて所定の時間キーの押下が検出されなかった場合、重心位置算出部２４０は、検出部２１４の検出結果に基づいて生成された二次元情報の有効領域から操作体の重心位置を算出し、重心位置記憶部２４５へ記録する（ステップＳ１１０）。重心位置算出部２４０は、検出部２１４により検出された所定の値以上の静電容量を有する有効領域における静電容量値に基づいて重心位置を算出する。
【００５６】
このとき、例えば、図２に示すように、重心位置算出部２４０は、操作体の形状に対応する部分１２２ａとキーの形状に対応する部分１２２ｂとの両方を含めたすべての有効領域における重心位置を算出してもよい。あるいは、キー上に均一に分布した静電容量値をそのまま重心位置算出に用いると、特に同一キー上での操作体の移動検出に対して感度が鈍くなる可能性がある。そこで、キーの形状に対応する部分１２２ｂの静電容量値に対しては任意の重み付けを行い、重心位置算出への影響を小さくすることで、操作体の移動に対する感度の低下を回避することができる。重心位置算出部２４０は、算出した重心位置を重心位置記憶部２４５へ記録するとともに、移動量算出部２５０へ出力する。
【００５７】
その後、移動量算出部２５０は、前回の重心位置から現在の重心位置までの移動量を算出する（ステップＳ１１２）。移動量算出部２５０は、重心位置記憶部２４５を参照して、前回の操作体の重心位置が記憶されているか否かを探索し、前回の操作体の重心位置が記憶されている場合には、操作体の移動方向および移動量を算出する。一方、重心位置記憶部２４５に前回の操作体の重心位置が記憶されていない場合には、移動量算出部２５０は、例えば移動量をゼロとする。そして、表示処理部２６０は、移動量算出部２５０によって算出された移動量に応じて、表示部２６５に表示されているカーソルを移動させる（ステップＳ１１４）。このようにして、操作部表面上で操作体を移動させる動作に応じて、移動表示部２６５のカーソルを移動することができる。
【００５８】
具体例を図７に示すと、まず、ユーザが操作体である指Ｆを「Ｆ」キー１１０ｆ上の手前側（ユーザ側）に接触させているとする。このとき、表示部２６５のカーソルは、カーソル位置２６２ａに位置する。その後、ユーザが指Ｆで操作体表面上をカーブを描くようになぞって、「Ｆ」キー１１０ｆの右側に位置する「Ｊ」キー１１０ｊ上の奥側（ユーザから離隔する側）へ指Ｆを移動させる。この間、図６のステップＳ１００からステップ１１４の処理が繰り返し行われ、所定の間隔で表示部２６５に表示されているカーソルの移動量が算出され、表示部２６５に表示されたカーソルが移動される。これにより、指Ｆのカーブを描くような動作に応じて、表示部２６５のカーソルがカーブを描くように、カーソル位置２６２ａからカーソル位置２６２ｂまで移動する。
【００５９】
このように、本実施形態にかかる入力装置１００を用いることにより、操作部の表面を利用したポインティング操作が可能となる。また、操作体がキーに接触し、かつキーを押下していない場合にのみ入力装置１００を用いたポインティング操作を可能とする。これにより、ユーザがキー操作を行いたい場合にキーに手を近接させたり接触させたりしても、かかる動作によってカーソルが移動してしまうことが減少し、キー入力の操作性の低下を防止することができる。なお、入力装置１００がポインティング操作を行う手段として機能している状態でも、例えばいずれかのキー１１０が押下されることにより、ポインティング操作を行う手段としては機能しなくなり、通常のキー入力を行う入力手段として使用することができる。
【００６０】
［操作体の状態に応じた操作方法］
本実施形態にかかる入力装置１００では、タッチセンサ１２０により操作体である指とキー１１０との距離を検出することにより、キー１１０との接触部分および非接触部分の指の状態を把握することが可能である。このため、上述した本実施形態の入力装置１００を用いたカーソル操作方法においては、操作体である指の状態を検出することによって、ジェスチャによる入力操作を行うことも可能となる。例えば、一部がキー１１０に接触した状態で非接触部分を動かすジェスチャを行うことで、当該ジェスチャと関連付けられた操作内容を実行するようにする。これにより、入力装置１００による操作性をより向上させることができる。
【００６１】
また、本実施形態にかかる入力装置１００では、タッチセンサ１２０が、操作部に接触する操作体の数を検出することも可能である。これにより、操作部と接触している操作体の数に応じて処理モードを変更するようにする等のように、ポインティング操作やジェスチャによる入力操作により入力可能な処理を多様なものとすることができる。
【００６２】
［（１）ジェスチャによる操作］
まず、図８〜図１３に基づいて、操作体の状態に応じた操作方法として、ジェスチャによる操作について説明する。なお、図８は、本実施形態にかかる操作体の状態に応じた操作方法を示すフローチャートである。図９は、指が寝ている状態の静電容量の状態を示す説明図である。図１０は、指が立っている状態の静電容量の状態を示す説明図である。図１１は、指を回転させた状態の静電容量の状態を示す説明図である。図１２は、ジェスチャの例を示す説明図である。図１３は、ジェスチャモード時のカーソルの表示例を示す説明図である。
【００６３】
図８に示すフローチャートは、図６に示すフローチャートのステップＳ１１２の後続処理として行われる。すなわち、ここでは入力装置１００が、キー入力を行う入力手段、およびポインティング操作を行う入力手段として用いられるとともに、ジェスチャによる操作を行う入力手段として用いられる操作方法を示す。
【００６４】
まず、図６のステップＳ１１２においてカーソルの移動量が算出されると、傾き判定部２７０により指が寝ている状態であるか否かが判定される（ステップＳ２１０）。一般的に、人間は、キーボードのキー１１０をタイピングするとき、キー１１０の表面に対して必ず指を立てている。これは、指を寝かせるとキー１１０に圧力をかけることができず、押下したいキー１１０に隣接するキー１１０を誤って押下する恐れがあるためである。本実施形態では、かかる特性を用いて、ユーザがキー１１０の押下による入力ではなく、入力装置１００を用いてジェスチャによる入力操作を行おうとしているか否かを判定する。
【００６５】
傾き判定部２７０は、検出部２１４による検出結果に基づき生成された静電容量の二次元情報から、操作体である指の状態を判定する。例えば、指が寝ている状態における静電容量の二次元情報には、図９に示すように、指Ｆの形状を示す部分１２２ａと指Ｆが接触する「Ｆ」キーの形状を示す部分１２２ｂとが有効領域として示されている。このとき、指Ｆがキー１１０に近接する部分は多いことから、図９に示すように、指Ｆの形状を示す部分１２２ａが長く表れる。また、例えば、指が立っている状態における静電容量の二次元情報には、図１０に示すように、指Ｆの形状を示す部分１２２ａと指Ｆが接触する「Ｆ」キーの形状を示す部分１２２ｂとが有効領域として示されている。このとき、指Ｆがキー１１０に近接する部分は少ないことから、図１０に示すように、指Ｆの形状を示す部分１２２ａが短く表れる。
【００６６】
このような二次元情報から把握される有効領域の指Ｆの形状から、指Ｆが寝ているか否かを判定することができる。例えば、有効領域の指Ｆの形状のうち、長手方向の長さが所定の長さ以上であれば、指Ｆが寝ていると判定することができる。ステップＳ２１０にて、指が寝ていると判定された場合には、ユーザの指Ｆの動作からジェスチャが認識されたか否かを判定する（ステップＳ２２０）。
【００６７】
ジェスチャ認識部２８０によりジェスチャが行われたか否かは、二次元情報における指Ｆの形状の部分１２２ａの変化により認識することができる。例えば、図９に示すように指Ｆを寝かせた状態から指Ｆの先端をキー１１０に接触させたまま時計回りに回転させると、図１１に示すように、二次元情報から把握される有効領域のうちキーの形状の部分１２２ｂの位置は変化しないが、指Ｆの形状の部分１２２ａは形状および位置が変化している。これより、指Ｆを回転させるジェスチャが行われたことを認識することができる。
【００６８】
ステップＳ２２０において、ジェスチャ認識部２８０によりジェスチャが行われたことが認識されると、ジェスチャに関連付けられた処理が実行される（ステップＳ２３０）。まず、ジェスチャ認識部２８０は、認識したジェスチャに対応する操作内容をジェスチャ記憶部２８５から取得する。ジェスチャ記憶部２８５には、図１２に示すような複数のジェスチャと操作内容とが関連付けて記憶されている。
【００６９】
例えば、図１２（ａ）に示すように、ユーザが指Ｆをキー１１０に接触させた状態でジグザグに移動させると、直前に行った処理を取り消す処理を行うようにすることができる。また、図１２（ｂ）に示すように、ユーザが指Ｆを奥側から手前側へ繰り返し移動させるとマウスホイールダウン処理を行い、図１２（ｃ）に示すように、指Ｆを手前側から奥側へ繰り返し移動させるとマウスホイールアップ処理を行うようにすることもできる。さらに、図１２（ｄ）に示すように、ユーザが指Ｆを右側から左側へ繰り返し移動させると前ページへの移動処理を行い、図１２（ｅ）に示すように、指Ｆを左側から右側へ繰り返し移動させると次ページへの移動処理を行うようにすることもできる。また、２本の指Ｆをキー１１０に接触させた状態で、図１２（ｆ）に示すように左側の指Ｆをタップさせるとマウス左ボタンを押下する処理を行い、図１２（ｇ）に示すように右側の指Ｆをタップさせるとマウス右ボタンを押下する処理を行うようにすることもできる。
【００７０】
ジェスチャ認識部２８０は、認識されたジェスチャに対応する操作内容を取得すると、操作内容を移動量算出部２５０および表示処理部２６０へ出力する。操作内容を実行するにあたり、操作体の重心位置の移動量が必要な場合には、移動量算出部２５０により移動量を算出した後、表示処理部２６０により操作内容に対応する表示処理が行われる。一方、操作内容を実行するにあたり、操作体の重心位置の移動量が不要である場合には、直接表示処理部２６０により操作内容に対応する表示処理が行われる。このとき、ジェスチャモードであることをユーザに通知するため、例えば図１３に示すように、カーソル２６２に近傍にジェスチャアイコン２６４を表示させてもよい。
【００７１】
なお、ステップＳ２１０にて指が寝ていないと判定された場合、またはステップＳ２２０にてジェスチャ認識部２８０によりジェスチャが認識されなかった場合には、通常のポインティング操作を行う（ステップＳ２４０）。
【００７２】
以上、ジェスチャによる入力操作を可能とする、操作体の状態に応じた操作方法について説明した。これにより、入力装置１００により多様な情報の入力を行うことができる。
【００７３】
［（２）ポインティング操作における処理モードの変更］
本実施形態の入力装置１００では、図１２（ｆ）、（ｇ）に示すように、複数の指を検出することが可能である。このように、表示処理部２６０は、操作部表面に接触された指の本数に応じて、ポインティング操作における処理モードを変更することもできる。以下、図１４および図１５に基づいて、ポインティング操作における処理モードの変更について説明する。なお、図１４は、カーソルモードの動作例を示す説明図である。図１５は、カーソルモード時のカーソルの表示例を示す説明図である。
【００７４】
本実施形態にかかる入力装置１００を用いたポインティング操作は、上述したように、操作体がキー１１０に接触し、かつ所定の時間以上キー１１０を押下していない場合に可能となる。このとき、表示処理部２６０は、キー１１０と接触している操作体の数に応じて処理モードを変更するようにする。
【００７５】
例えば、図１４（ａ）に示すように、キー１１０に接触している操作体である指の数が１本である場合には、通常のマウスの移動処理とし、表示部２６５に表示されたカーソルの移動のみを行う。次に、図１４（ｂ）に示すように、キー１１０に接触している操作体である指の数が２本である場合には、Ｃｔｒｌキーを押下しながらマウスを移動させた状態として処理する。また、図１４（ｃ）に示すように、キー１１０に接触している操作体である指の数が３本である場合には、Ａｌｔキーを押下しながらマウスを移動させた状態として処理する。そして、図１４（ｄ）に示すように、キー１１０に接触している操作体である指の数が４本である場合には、Ｓｈｉｆｔキーを押下しながらマウスを移動させた状態として処理する。
【００７６】
このように、操作部表面に接触している操作体の数に応じて、ポインティング操作における処理モードを変更することにより、例えば、図１４（ｂ）〜（ｄ）に示すような、従来はキー１１０の押下とマウスの移動という２つの操作を平行して行う必要のあった操作を簡略化することができる。このとき、ポインティング操作における処理モードを表示部２６５に表示させることにより、ユーザに動作状態を通知することができる。例えば、図１５に示すように、カーソル２６２に近傍に処理モードアイコン２６６を表示させて通知することができる。図１５の処理モードアイコン２６６は、図１４（ｂ）に示したＣｔｒｌキーを押下しながらマウスを移動させた状態として処理している状態であることを示している。
【００７７】
以上、本実施形態にかかる入力装置１００とこれを用いた入力操作方法について説明した。本実施形態によれば、操作部に対する操作体の近接および接触が検出可能なタッチセンサ１２０を設けることにより、入力装置１００をキー入力による入力手段として用いるとともに、ポインティング操作を行うための手段として用いることができる。このように、物理的に同一のスペースに２つの操作手段を配置できるため、入力装置１００の面積節約や小型化を実現することができる。また、キー１１０の接触のみでカーソルを操作することができるので、ユーザの操作性を容易にすることができる。さらに、操作体がキー１１０に接触し、かつキー１１０を所定時間以上押下していない場合にのみ入力装置１００をポインティング操作を行うための手段として機能させる。このように、ユーザがキー入力を意図しているか、あるいはポインティング操作を意図しているかを判別することにより、通常のキー入力の操作性を低下させることなく、ポインティング操作を行うことができる。
【００７８】
また、本実施形態では、操作体の近接および接触を検出可能なタッチセンサを設けることで、操作体の動作（ジェスチャ）や、操作部に接触する操作体の数を検出することができる。これにより、単純なカーソル移動操作に加えて、多様な処理を行うことができる。
【００７９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、上記実施形態では、操作体である指が寝ているか否かによりジェスチャモードへの移行を判定したが、本発明はかかる例に限定されない。例えば、操作体である指の状態によってポインティング操作を可能とするか否かを判定するようにしてもよい。上述した本実施形態の入力装置１００を用いたカーソル操作方法において、ユーザがキー入力を行うためにキー上に指を接触させた状態で載置する場合がある。このとき、所定の時間キーを押下しないと、入力部２１２がポインティング操作を行う手段として機能し、指の動きに応じてカーソルが移動するようになる。このような状態によってカーソルの誤操作が生じる可能性もある。そこで、例えば形状検出部２２０が操作体である指の状態によってポインティング操作を可能とするか否かを判定することで、カーソルの誤操作を防止することもできる。
【符号の説明】
【００８１】
１００    入力装置
１１０    キー
１２０    タッチセンサ
１３０    キーボード
２００    情報処理装置
２１０    操作部
２１２    入力部
２１４    検出部
２２０    形状検出部
２３０    キー押下判定部
２４０    重心位置算出部
２４５    重心位置記憶部
２５０    移動量算出部
２６０    表示処理部
２６５    表示部
２７０    傾き判定部
２８０    ジェスチャ認識部
２８５    ジェスチャ記憶部
【図１】
2010244302.tif 000003
【図２】
2010244302.tif 000004
【図３】
2010244302.tif 000005
【図４】
2010244302.tif 000006
【図５】
2010244302.tif 000007
【図６】
2010244302.tif 000008
【図７】
2010244302.tif 000009
【図８】
2010244302.tif 000010
【図９】
2010244302.tif 000011
【図１０】
2010244302.tif 000012
【図１１】
2010244302.tif 000013
【図１２】
2010244302.tif 000014
【図１３】
2010244302.tif 000015
【図１４】
2010244302.tif 000016
【図１５】
2010244302.tif 000017
【図１６】
2010244302.tif 000018