Source: https://patents.google.com/patent/JP2010244302A/en
Timestamp: 2019-07-22 06:32:47
Document Index: 767096356

Matched Legal Cases: ['art 210', 'art 220', 'art 220', 'art 260', 'art 265', 'art 210', 'art 285', 'art 250', 'art 285', 'art 285', 'art 250', 'art 285', 'art 285', 'art 265']

JP2010244302A - Input device and input processing method - Google Patents
Input device and input processing method Download PDF
JP2010244302A
JP2010244302A JP2009092403A JP2009092403A JP2010244302A JP 2010244302 A JP2010244302 A JP 2010244302A JP 2009092403 A JP2009092403 A JP 2009092403A JP 2009092403 A JP2009092403 A JP 2009092403A JP 2010244302 A JP2010244302 A JP 2010244302A
JP2009092403A
2009-04-06 Application filed by Sony Corp, ソニー株式会社 filed Critical Sony Corp
2010-10-28 Publication of JP2010244302A publication Critical patent/JP2010244302A/en
<P>PROBLEM TO BE SOLVED: To provide an input device including a pointing device function without deteriorating the operability of key input. <P>SOLUTION: The input device 100 includes: an operation part 210 including an electrostatic capacitance detection part electrically connected to a plurality of keys 110 made of a conductive material arranged on a base between the base and the keys 110; a shape detecting part 220 configured detecting an effective area having a predetermined electrostatic capacitance value or more based on an electrostatic capacitance value detected by the electrostatic capacitance detecting part and detecting the shape of the key 110 stored beforehand from the effective area; a determining part configured to determine whether or not the key 110 to which an operation body contacts is depressed for a predetermined period of time and more when the shape of the key 110 is detected from the effective area by the shape detecting part 220; and a display processing part 260 configured to move an object being displayed on a display part 265 depending on the movement of the operation body moving in contact with the surface of the operation part 210 when the key 110 is not depressed for the predetermined period of time and more. <P>COPYRIGHT: (C)2011,JPO&INPIT
本発明は、入力装置および入力処理方法に関し、より詳細には、キー入力およびポインティング操作の可能な入力装置およびこれを用いた入力処理方法に関する。 The present invention relates to an input device and an input processing method, and more particularly relates to an input processing method using an input device which can and this key input and a pointing operation.
従来、ポインティングデバイスとしてマウス機器を使用するコンピュータにおいて、ポインティング操作はマウス機器自体の移動によって行われる。 Conventionally, in a computer that uses a mouse device as a pointing device, a pointing operation is performed by the movement of the mouse device itself. このため、マウス機器を移動させるためのスペースが必要であった。 Therefore, it was necessary space for moving the mouse device. また、ノート型パーソナルコンピュータに代表される小型のコンピュータには、コンピュータの一部にマウスパッドが設けられており、マウスパッド上で指を移動させることによりポインティング操作を行うことができる。 In addition, the small computer, typified by notebook personal computers, and the mouse pad is provided in a part of the computer, you can perform the pointing operation by moving the finger on the mouse pad. しかし、近年では、例えばモバイルＰＣのように装置がさらに小型化されており、マウスパッドのスペースを確保することも物理的に困難となっている。 However, in recent years, for example, devices are further miniaturized as a mobile PC, and also a physically difficult to ensure a space of the mouse pad.
このような問題に対して、例えば特許文献１には、キーボードに配列された各キーのキートップに平面のタッチパッドを設けたポインティングデバイス機能付きキーボードが開示されている。 To solve this problem, for example, Patent Document 1, the pointing device function keyboard is disclosed in which a plane touchpad the key top of each key arranged on the keyboard. かかるキーボートを用いることにより、指や手のひらとタッチパッドとの接触によってマウス操作を行うことができ、操作性を向上させることができる。 By using such a keyboard, it can perform mouse by contact with a finger or palm and the touch pad, thereby improving the operability. しかし、特許文献１に開示された手法では、タッチセンサ用素子をキートップに設けているため、タッチセンサ用素子の数やその配置位置はキーの数や位置に依存してしまい、タッチセンサ用素子の数やその配置位置に制約が生じるという問題があった。 However, the disclosed in Patent Document 1 approach, since there is provided a device for the touch sensor to the key top, the number and arrangement position of the element for the touch sensor will depend on the number and position of the key, for the touch sensor there is a problem in that the number and restrictions on its placement position of the element occurs.
これに対して、キートップ側にタッチセンサ用素子を配置せずにキーボード上の手の動きに応じてポインティング操作を行う手法として、例えば特許文献２に開示されたキーシートをキートップとキーボードとの間に設ける手法が考えられる。 In contrast, as a technique for performing pointing operation in accordance with the movement of the hands on the keyboard without placing the elements for the touch sensor to the key top side, for example, the key sheet disclosed in Patent Document 2 key top and a keyboard conceivable method of providing between is. 特許文献２に開示されたキーシートは、例えば図１６に示すように、近接検知型情報表示装置の表示パネル１０のセンサ手段２０として適用されている。 Key sheet disclosed in Patent Document 2, for example, as shown in FIG. 16, are applied as a sensor means 20 of the display panel 10 of the proximity detection type information display apparatus.
表示パネル１０は、図１６に示すように、例えば液晶表示素子や有機ＥＬ素子などからなる二次元表示手段１２の裏面に保護板１４を貼着し、二次元表示手段１２の表面にキーシートであるセンサ手段２０を設けることにより構成される。 Display panel 10, as shown in FIG. 16, for example, adhering a protective plate 14 on the rear surface of the two-dimensional display section 12 consisting of a liquid crystal display element and an organic EL element, in the key sheet on the surface of the two-dimensional display section 12 It constituted by providing a certain sensor unit 20. センサ手段２０は、格子状に配置された複数のワイヤ電極からなる電極２２の両面にガラス板２４、２６が設けられている。 Sensor means 20, the glass plate 24, 26 are provided on both surfaces of the electrode 22 composed of a plurality of wire electrodes arranged in a grid pattern. 電極２２を構成するワイヤ電極には、同一方向に配列されたワイヤ電極毎に、ガラス板２６から導出された端子から高周波信号が交互に印加される。 The wire electrodes forming the electrode 22, each wire electrodes arranged in the same direction, the high frequency signal is applied alternately from a terminal derived from the glass plate 26. これにより、センサ手段２０が静電容量型のタッチセンサとして機能する。 Thus, the sensor means 20 functions as a capacitive touch sensor type. かかるセンサ手段２０は、静電容量の変化を検知することによって、操作体である例えば手Ｈと表示パネル１０の表面１０ａとの距離Ｌを検出することができる。 Such sensor means 20, by detecting a change in capacitance, it is possible to detect the distance L which is an operation member for example the hand H and the surface 10a of the display panel 10.
特開２００７−１８４２１号公報 JP 2007-18421 JP 特開２００８−１１７３７１号公報 JP 2008-117371 JP
しかしながら、例えば特許文献２に開示されたキーシートをキートップとキーボードとの間に設ける手法の場合、キーボード上の手の動きを検知することはできるが、ポインティング操作を意図してユーザがその動きを行ったかどうかを判別することはできない。 However, for example, in the case of method of providing the key sheet disclosed in Patent Document 2 between the key top and the keyboard, although it is possible to detect the movement of the hand on the keyboard, the user is the movement intended to pointing operation it is not possible to determine whether or not carried out. このため、ユーザがキーを押下する場合にもポインティングカーソルが反応してしまい、キー入力の操作性を低下させてしまうという問題があった。 Therefore, the user is disadvantageously also will react pointing cursor, reducing the operability of the key input when the user presses the key. したがって、かかる手法では、キーボード上の手の動きを大まかに検出して、ジェスチャとして認識する程度の用途として適用することができなかった。 Accordingly, in such methods, and roughly detects the movement of the hand on the keyboard, it can not be applied as the application of approximately recognized as a gesture.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、キー入力の操作性を低下させることなく、ポインティングデバイス機能を備えることが可能な、新規かつ改良された入力装置および入力処理方法を提供することにある。 The present invention has been made in view of the above problems, it is an object of the present invention, without reducing the operability of the key input, which can comprise a pointing device function, new and improved to provide an input device and an input processing method.
上記課題を解決するために、本発明のある観点によれば、ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、キーと電気的に接続され、操作体との近接距離を静電容量の変化により検出する静電容量検出部を備える操作部と、静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出し、有効領域から予め記憶されたキーの形状を検出する形状検出部と、形状検出部により有効領域からキーの形状が検出された場合に操作体が接触しているキーが所定時間以上押下されていないか否かを判定する判定部と、キーが所定時間以上押下されていない場合に、操作部表面に接触して移動する操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる表示処理部と In order to solve the above problems, according to an aspect of the present invention, between the plurality of keys comprising a base and a conductor arranged on the base, keys and are electrically connected to the operating body effective region having an operation unit including a capacitance detection unit that detects a change in capacitance near distance, the capacitance of more than a predetermined value based on the electrostatic capacitance value detected by the capacitance detection unit detects a shape detection unit that detects the shape of the pre-stored key from the effective region, the key operation tool is in contact with the case where the shape of the key is detected from the effective area by the shape detecting unit is a predetermined time or more a determination section for determining whether or not pressed, if the key is not pressed for a predetermined time or more, depending on the movement of the operation member that moves in contact with the operating portion surface, is displayed on the display unit a display processing unit for moving the object を備える入力装置が提供される。 Input device comprising a are provided.
本発明によれば、ベース上に配列された複数のキーによりキー入力ができる入力装置を、操作体が操作部表面に接触し、かつ所定時間以上キーが押下されていない場合に、表示部に表示されたオブジェクトを移動させる操作手段として機能させる。 According to the present invention, an input device capable of key input by a plurality of keys arranged on the base, when the operating body is in contact with the operation portion surface, and a predetermined time or more key is not pressed, the display unit to function as an operation means for moving the displayed object. これにより、キー入力の操作性を低下させることなく、入力装置の省スペース化を図ることができる。 Thus, without lowering the operability of the key input, it is possible to save space of the input device.
ここで、本発明の入力装置は、有効領域の重心位置を算出する重心位置算出部と、重心位置の移動量を算出する移動量算出部と、を備えることもできる。 Here, the input device of the present invention may also comprise a center-of-gravity position calculating unit for calculating the center of gravity position of the effective region, a movement amount calculation unit for calculating a movement amount of the gravity center position. このとき、表示処理部は、算出された移動量に応じて、表示部に表示されているオブジェクトを移動させる。 At this time, the display processing unit in accordance with the movement amount calculated to move the object displayed on the display unit.
また、形状検出部は、有効領域から操作体の形状をさらに検出することもできる。 The shape detecting unit can be further detecting the shape of the operating body from the effective area. このとき、重心位置判定部は、有効領域のうち操作体の形状部分における重心位置を算出するようにしてもよい。 At this time, the center-of-gravity position determination unit may calculate a center of gravity position in the shaped portion of the operating body of the effective region.
さらに、本発明の入力装置は、形状検出部により検出された操作体の形状から、操作部表面に対する操作体の傾きの程度を判定する傾き判定部を備えることもできる。 Further, the input device of the present invention, the shape of the operators detected by the shape detecting unit can also be provided for determining the inclination determination unit of the degree of tilt of the operating body with respect to the operation surface. このとき、表示処理部は、傾き判定部により操作体の傾きが所定の値以下であると判定された場合に、操作部表面に接触して移動する操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる。 At this time, the display processing unit, when the inclination of the operating member by the inclination determination unit is determined to be equal to or less than a predetermined value, in accordance with the movement of the operating tool moving in contact with the operation portion surface, on the display unit moving the object being displayed.
また、入力装置は、静電容量検出部および形状検出部による検出結果から取得される操作体の状態の変化からジェスチャを認識するジェスチャ認識部と、ジェスチャと表示部の表示内容を操作する操作内容とを関連付けて記憶するジェスチャ記憶部と、を備えることもできる。 Further, the input device, the operation content of the operation recognizing the gesture recognition unit gestures from a change in state of the the operating body obtained from the detection result, the display contents of the gesture with a display unit according to the electrostatic capacitance detection unit and the shape detection unit It can also comprise a gesture storage unit that stores in association with and. このとき、ジェスチャ認識部は、操作体の状態の変化からジェスチャを認識すると、ジェスチャ記憶部から認識されたジェスチャに対応する操作内容を取得して表示処理部へ出力する。 In this case, the gesture recognition unit recognizes the gesture from a change in state of the operating member, and outputs it to the display processing section acquires the operation content corresponding to the gesture recognized from the gesture storage unit. そして、表示処理部は、ジェスチャ認識部から入力された操作内容に基づいて、表示部の表示内容を処理する。 Then, the display processing section based on the operation content input from the gesture recognition unit processes the display content of the display unit.
さらに、形状検出部は、操作体表面に接触している操作体の数を検出するようにすることもできる。 Further, the shape detecting unit can also be adapted to detect the number of the operating body in contact with the operation surface. このとき、表示処理部は、形状検出部により検出された操作体の数に応じて、表示部に表示されているオブジェクトを移動させる際の処理モードを変更することもできる。 At this time, the display processing unit in accordance with the number of operators detected by the shape detection unit, it is also possible to change the processing mode for moving the object displayed on the display unit.
また、上記課題を解決するために、本発明の別の観点によれば、操作体との近接距離を静電容量の変化により検出する静電容量検出部により、ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、キーと電気的に接続された静電容量検出部を備える操作部の表面に操作体が近接または接触することによって変化する静電容量を検出するステップと、静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出するステップと、有効領域から予め記憶されたキーの形状を検出するステップと、有効領域からキーの形状が検出された場合に操作体が接触しているキーが所定時間以上押下されていないか否かを判定するステップと、キーが所定時間以上押下されていない場合に、操作 In order to solve the above problems, according to another aspect of the present invention, the capacitance detection unit for detecting an approach distance between the operating body by the change in capacitance, it is arranged on the base and the base between the plurality of keys made of conductive material, for detecting an electrostatic capacitance which varies by surface manipulation of the operation unit including keys electrically connected to the capacitance detection unit is close to or in contact a step, a step of detecting an effective area having a capacitance larger than a predetermined value based on the electrostatic capacitance value detected by the capacitance detection unit, detects the shape of the pre-stored key from the effective area a step, determining whether or not pressed for a predetermined time or more keys that the operation tool is in contact with the case where the shape of the key is detected from the effective area, if the key is not pressed for a predetermined time or more to, operation 表面に接触して移動する操作体の動きに応じて、表示部に表示されているオブジェクトを移動させるステップと、を含む、入力処理方法が提供される。 In accordance with the movement of the operating tool moving in contact with the surface, comprising the step of moving the object displayed on the display unit, the input processing method is provided.
以上説明したように本発明によれば、キー入力の操作性を低下させることなく、ポインティングデバイス機能を備えることが可能な入力装置および入力処理方法を提供することができる。 According to the present invention described above, without lowering the operability of the key input, it is possible to provide an input device and an input processing method may comprise a pointing device function.
本発明の実施形態にかかる入力装置の一部の概略構成を示す説明図である。 The partial schematic configuration of an input device according to an embodiment of the present invention. FIG. 同実施形態にかかる入力装置の静電センサにより検出される静電容量を示す説明図である。 Is an explanatory view showing an electrostatic capacitance detected by the electrostatic sensor of the input device according to the embodiment. 同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 It is a block diagram showing a hardware configuration of the information processing apparatus according to the embodiment. 同実施形態にかかる入力装置のハードウェア構成を示すブロック図である。 Is a block diagram showing a hardware configuration of an input apparatus according to the embodiment. 同実施形態にかかる入力装置が接続された情報処理装置の機能構成を示す機能ブロック図である。 Is a functional block diagram showing the functional configuration of the information processing apparatus input apparatus according to the embodiment is connected. 同実施形態にかかる入力装置を用いたカーソル操作方法を示すフローチャートである。 It is a flowchart showing a cursor operation method using the input device according to the embodiment. 操作体の動作とそれによるカーソル移動を示す説明図である。 It is an explanatory view showing the operation and cursor movement by its manipulation body. 同実施形態にかかる操作体の状態に応じた操作方法を示すフローチャートである。 Is a flowchart illustrating a method of operation according to the state of the operating tool according to the embodiment. 指が寝ている状態の静電容量の状態を示す説明図である。 Is an explanatory view showing the state of the electrostatic capacitance attained finger is sleeping. 指が立っている状態の静電容量の状態を示す説明図である。 Is an explanatory view showing the state of the electrostatic capacitance attained finger is standing. 指を回転させた状態の静電容量の状態を示す説明図である。 It is an explanatory view showing a state of the capacitance while rotating the finger. ジェスチャの例を示す説明図である。 Is an explanatory view showing an example of a gesture. ジェスチャモード時のカーソルの表示例を示す説明図である。 Is an explanatory view showing a display example of the cursor when the gesture mode. カーソルモード時のカーソルの表示例を示す説明図である。 Is an explanatory view showing a display example of the cursor when cursor mode. カーソルモード時のカーソルの表示例を示す説明図である。 Is an explanatory view showing a display example of the cursor when cursor mode. 従来の近接検知型情報表示装置の本体部分である表示パネルの構成を示す概略断面図である。 It is a schematic sectional view showing a structure of a display panel, which is the main part of a conventional proximity detection type information display apparatus.
１． 1. 入力装置の構成（入力装置の概略構成、ハードウェア構成、機能構成） Configuration of the input device (schematic configuration of the input device, the hardware configuration, functional configuration)
２． 2. 入力装置における入力処理方法 Input processing method in the input device
（カーソル操作方法、操作体の状態に応じた操作方法） (Cursor operation method, operation method in accordance with the state of the operating body)
［入力装置の概略構成］ [Schematic Configuration of Input Device]
まず、図１および図２に基づいて、本発明の実施形態にかかる入力装置１００の概略構成について説明する。 First, with reference to FIGS. 1 and 2, it will be described a schematic configuration of an input device 100 according to an embodiment of the present invention. なお、図１は、本実施形態にかかる入力装置１００の一部の概略構成を示す説明図である。 Incidentally, FIG. 1 is an explanatory diagram showing a partial schematic configuration of the input device 100 according to this embodiment. 図２は、本実施形態にかかる入力装置１００の静電センサにより検出される静電容量を示す説明図である。 Figure 2 is an explanatory view showing an electrostatic capacitance detected by the electrostatic sensor of the input device 100 according to this embodiment.
本実施形態にかかる入力装置１００は、複数のキー１１０が配列されたキーボードである。 Input device 100 according to this embodiment is a keyboard having a plurality of keys 110 are arranged. 入力装置１００は、キー１１０を押下して情報を入力するための入力手段であるとともに、本実施形態では、表示部に表示されたオブジェクトである例えばカーソルを操作する操作手段としても用いられる。 Input device 100, along with an input means for inputting information by pressing the key 110, in this embodiment, also used as an operation means for operating, which is an example of a cursor object displayed on the display unit.
入力装置１００は、図１に示すように、複数のキー１１０とキーボード１３０との間に、操作体との近接距離を検出可能な静電容量型のタッチセンサ１２０を備える。 Input device 100 includes, as shown in FIG. 1, between the plurality of keys 110 and a keyboard 130 comprises a detectable capacitance type touch sensor 120 an approach distance between the operating body. タッチセンサ１２０は、キーボード１３０上に配列されたキー１１０とキー１１０との間に配置され、各キー１１０と電気的に接続されている。 The touch sensor 120 is disposed between the key 110 and the key 110 arranged on the keyboard 130, and is electrically connected with each key 110. タッチセンサ１２０には、例えば特許文献２に記載のセンサ手段を用いることができる。 The touch sensor 120 can be used sensor means described for example in Patent Document 2. タッチセンサ１２０は、格子状（例えば１０×７）に配置された静電センサを備えており、静電容量の変化によってその値を常時変化させる。 Touch sensor 120 includes a capacitive sensor arranged in a grid pattern (e.g., 10 × 7), changing its value at all times by the change in capacitance. 静電センサに操作体である指が近付いたり触れたりした場合に、静電センサにより検知される静電容量が増加する。 When the finger which is an operation member to the electrostatic sensor is touch or approaching, the capacitance detected by the electrostatic sensor increases. この静電容量の増加量の変化に基づいてタップ操作などのインタラクションを行うことができる。 It is possible to perform an interaction, such as the tap operation on the basis of the change in the increase in capacitance.
また、各静電センサの静電容量は同時に取得することが可能である。 Further, the capacitance of each of the electrostatic sensors can be simultaneously acquired. すべての静電センサの静電容量の変化を同時に検出し、補間することによって近接または接触している指の形を検出することが可能である。 Detecting a change in capacitance of all the electrostatic sensors at the same time, it is possible to detect the shape of the finger approaching or contacting by interpolating. さらに、本実施形態にかかる入力装置１００のキー１１０は、例えばアルミやＩＴＯ膜等の導電性物質から形成されている。 Moreover, key 110 of the input device 100 according to this embodiment, for example, formed of a conductive material such as aluminum or ITO film. このため、指などの操作体がキー１１０に接触すると、当該キー１１０がタッチセンサ１２０と電気的に接続されていることにより、キー部分の静電容量が増加して略均一の値をとるようになる。 Therefore, when the operating tool such as a finger is in contact with the key 110, so that the key 110 by being electrically connected to a touch sensor 120 takes a value of substantially uniform electrostatic capacitance of the key portion is increased become. これにより、静電センサによって操作体が接触しているキー１１０の形状も検出することが可能になる。 Accordingly, it becomes possible to detect the shape of a key 110 which the operating body by the electrostatic sensor is in contact.
例えば、図２に示すように、指Ｆ１が「Ｆ」キー１１０に接触している場合、図２の下図に示すように、タッチセンサ１２０に近接する指Ｆ１の形状１２２ａと指Ｆ１が接触するキーの形状１１２ｂとが静電容量の高い有効領域として検出される。 For example, as shown in FIG. 2, when the finger F1 is in contact with the "F" key 110, as shown in the lower part of FIG. 2, the shape 122a and a finger F1 of the finger F1 in proximity to the touch sensor 120 is in contact high shape 112b transgressions electrical capacitance of the key is detected as a valid region. また、指Ｆ２がキー１１０に近接している状態では、図２の下図に示すように、指の形状１２２ｃのみが静電容量の高い有効領域として検出される。 Moreover, finger F2 is in a state in close proximity to key 110, as shown in the lower part of FIG. 2, only the finger shape 122c is detected as a high effective area of ​​the capacitance. このように、静電容量の高い有効領域にキーの形状が存在するか否かによって、操作体がキー１１０に接触しているか否かを判定することができる。 Thus, depending on whether the shape of the key to a high effective area of ​​the capacitance exists, the operating body can determine whether or not the contact with the key 110.
本実施形態では、このような入力装置１００を、通常はキー入力のための入力手段として使用する一方、操作体がキー１１０に接触し、かつキー１１０を押下していない状態では、表示部に表示されるカーソル等の操作手段として使用する。 In the present embodiment, such an input device 100, while typically used as an input means for a key input, in a state in which the operating body has not pressed the contact with the key 110, and key 110, the display unit used as operating means of a cursor or the like displayed. これにより、ポインティング操作のために別途の入力手段を設ける必要がなく、キー入力の操作性を低下させずにポインティング操作を行うことができる。 This eliminates the need to provide an additional input means for pointing operation can be performed pointing operation without lowering the operability of the key input. 以下、本実施形態にかかる入力装置１００の構成とその機能について詳細に説明する。 Hereinafter, configuration of the input device 100 according to this embodiment and its function will be described in detail.
まず、図３および図４に基づいて、本実施形態にかかる入力装置１００を備える情報処理装置２００のハードウェア構成について説明する。 First, based on FIGS. 3 and 4, it will be described a hardware configuration of the information processing apparatus 200 having an input device 100 according to this embodiment. なお、図３は、本実施形態にかかる情報処理装置２００のハードウェア構成を示すブロック図である。 Incidentally, FIG. 3 is a block diagram showing a hardware configuration of the information processing apparatus 200 according to this embodiment. 図４は、本実施形態にかかる入力装置１００のハードウェア構成を示すブロック図である。 Figure 4 is a block diagram showing a hardware configuration of the input device 100 according to this embodiment. 本実施形態にかかる情報処理装置２００は、例えばノートブック型パーソナルコンピュータやモバイルＰＣ等である。 The information processing apparatus 200 according to this embodiment is, for example, notebook personal computers and mobile PC and the like.
本実施形態の情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４ａとを備える。 The information processing apparatus 200 of the present embodiment includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, a host bus 204a. また、情報処理装置２００は、ブリッジ２０４と、外部バス２０４ｂと、インタフェース２０５と、入力装置２０６と、出力装置２０７と、ストレージ装置（ＨＤＤ）２０８と、ドライブ２０９と、接続ポート２１１と、通信装置２１３とを備える。 Further, the information processing apparatus 200 includes a bridge 204, an external bus 204b, an interface 205, an input device 206, an output device 207, a storage device (HDD) 208, a drive 209, a connection port 211, the communication device and a 213.
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２００内の動作全般を制御する。 CPU201 functions as an arithmetic processing device and a control device, and controls the overall operation of the information processing apparatus 200 according to various programs. また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。 Further, CPU 201 may be a microprocessor. ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。 ROM202 stores programs used by the CPU201 and operation parameters. ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。 RAM203 is a program used in execution of the CPU 201, temporarily stores the parameters that appropriately change during execution thereof. これらはＣＰＵバスなどから構成されるホストバス２０４ａにより相互に接続されている。 These are connected to each other by a host bus 204a composed of a CPU bus or the like.
ホストバス２０４ａは、ブリッジ２０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０４ｂに接続されている。 The host bus 204a via the bridge 204 is connected to a PCI (Peripheral Component Interconnect / Interface) external bus 104b such as a bus. なお、必ずしもホストバス２０４ａ、ブリッジ２０４および外部バス２０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。 Incidentally, not necessarily the host bus 204a, it is not necessary to separate a bridge 204 and the external bus 204b, may be implemented these functions in a single bus.
入力装置２０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。 Input device 206, a mouse, a keyboard, a touch panel, a button, a microphone, an input means for a user to input information such as a switch and a lever, it generates an input signal based on input by the user, an input control circuit for outputting the CPU201 and a like. 情報処理装置２００のユーザは、該入力装置２０６を操作することにより、情報処理装置２００に対して各種のデータを入力したり処理動作を指示したりすることができる。 The user of the information processing apparatus 200, by operating the input device 206, and can instruct the input processing operation of various data to the information processing apparatus 200. 本実施形態では、入力装置２０６として図１に示す入力装置１００が設けられている。 In this embodiment, the input device 100 shown in FIG. 1 is provided as an input device 206.
本実施形態にかかる入力装置１００は、図４に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、出力インタフェース（出力Ｉ／Ｆ）１０３と、タッチセンサ１０４と、キー１０５とから構成される。 Input device 100 according to this embodiment, as shown in FIG. 4, a CPU 101, a RAM 102, an output interface (output I / F) 103, a touch sensor 104, and a key 105.. ＣＰＵ１０１は、入力装置１００の演算処理装置および制御装置として機能し、各種プログラムに従って入力装置１００内の動作全般を制御する。 CPU101 functions as an arithmetic processing device and a control device of the input device 100, and controls the overall operation of the input device 100 according to various programs. ＲＡＭ１０２は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。 RAM102 stores programs used in execution of the CPU 101, temporarily stores the parameters that appropriately change during execution thereof. 出力Ｉ／Ｆ１０３は、入力装置１００をホスト側へ接続する接続部であって、例えばＵＳＢなどである。 Output I / F 103 is a connecting portion for connecting an input device 100 to the host side, for example, USB and the like. タッチセンサ１０５は、キー１０５との近接および接触を検出するセンサであって、図１のタッチセンサ１２０に対応する。 Touch sensor 105 is a sensor for detecting proximity and contact with the key 105, corresponding to the touch sensor 120 of FIG. 本実施形態のタッチセンサ１０５は、上述したように静電式のタッチセンサを用いている。 The touch sensor 105 of the present embodiment uses the touch sensor of electrostatic as described above. キー１０５は、情報が入力される入力部であって、図１のキー１１０に対応する。 Key 105 is an input unit which information is inputted, corresponding to the key 110 of FIG. キー１０５を押下することにより、キー１０５に関連付けられた情報が出力Ｉ／Ｆ１０３を介してホスト側へ出力される。 By pressing the key 105, the information associated with the key 105 is outputted through the output I / F 103 to the host side.
図３に戻り、出力装置２０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。 Returning to Figure 3, the output device 207 includes, for example, CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, a display device such as OLED (Organic Light Emitting Diode) device and a lamp. さらに、出力装置２０７は、スピーカおよびヘッドホンなどの音声出力装置を含む。 Further, the output device 207 includes an audio output device such as speaker and headphone.
ストレージ装置２０８は、情報処理装置２００の記憶部の一例であるデータ格納用の装置である。 The storage device 208 is a device for data storage, which is an example of a storage unit of the information processing apparatus 200. ストレージ装置２０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。 The storage device 208, storage medium, a recording apparatus for recording data on a storage medium may include, deleting device for deleting the data recorded in the reading device and a storage medium reading out data from the storage medium. ストレージ装置２０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）により構成される。 The storage device 208 includes, for example, a HDD (Hard Disk Drive). このストレージ装置２０８は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。 The storage device 208 drives a hard disk and stores programs and various data CPU101 executes.
ドライブ２０９は、記憶媒体用リーダライタであり、情報処理装置２００に内蔵、あるいは外付けされる。 Drive 209 is a reader writer for storage medium, built in the information processing apparatus 200 or externally attached. ドライブ２０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ２０３に出力する。 Drive 209, a mounted magnetic disk, optical disk, reads information recorded in a removable recording medium of the magneto-optical disk, or a semiconductor memory, or the like, and outputs to the RAM 203.
接続ポート２１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。 The connection port 211 is an interface connected to an external device, a USB (Universal Serial Bus) is a connection port of the data transmission can be an external device or the like. また、通信装置２１３は、例えば、通信網２０に接続するための通信デバイス等で構成された通信インタフェースである。 The communication device 213 is a communication interface configured by a communication device for connecting to a communication network 20. また、通信装置２１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。 The communication device 213 may be a wireless LAN (Local Area Network) compatible communication device, a wireless USB compatible communication device, or a wired communication device that performs wired communication.
以上、本実施形態にかかる情報処理装置２００およびこれと接続されて用いられる入力装置１００のハードウェア構成について説明した。 It has been described a hardware configuration of the input device 100 used connected according the information processing apparatus 200 and therewith the present embodiment. 次に、図５に基づいて、本実施形態にかかる入力装置１００が接続された情報処理装置２００の機能構成について説明する。 Next, based on FIG. 5, a description is given of a functional configuration of the information processing apparatus 200 input device 100 according to this embodiment is connected. なお、図５は、本実施形態にかかる入力装置１００が接続された情報処理装置２００の機能構成を示す機能ブロック図である。 Incidentally, FIG. 5 is a functional block diagram showing the functional configuration of the information processing apparatus 200 input device 100 according to this embodiment is connected. 図５では、情報処理装置２００のうち、入力装置１００をポインティング操作を行うための手段として機能させるための機能部および関連する機能部のみを記載している。 In Figure 5, of the information processing apparatus 200, it describes only the functional unit and associated functional unit to function as a means for performing an input device 100 pointing operation.
本実施形態にかかる情報処理装置２００は、図５に示すように、操作部２１０と、形状検出部２２０と、キー押下判定部２３０と、重心位置算出部２４０と、重心位置記憶部２４５と、移動量算出部２５０と、表示処理部２６０と、表示部２６５と、傾き判定部２７０と、ジェスチャ認識部２８０と、ジェスチャ記憶部２８５とを備える。 The information processing apparatus 200 according to this embodiment, as shown in FIG. 5, an operation unit 210, a shape detection unit 220, a key depression determining unit 230, a center-of-gravity position calculating unit 240, and the center-of-gravity position storing unit 245, It includes a moving amount calculation unit 250, a display processing unit 260, a display unit 265, a tilt determining unit 270, a gesture recognition unit 280, and a gesture storage part 285.
操作部２１０は、キーの押下による情報入力を行うとともに、表示部２６５に表示されるカーソルを移動させるポインティング操作を行うための機能部である。 Operation unit 210 performs information input by pressing the key, a functional unit for performing a pointing operation for moving a cursor displayed on the display unit 265. 操作部２１０は、入力部２１２と、検出部２１４とにより構成される。 Operation unit 210 includes an input unit 212 constituted by a detection unit 214. 入力部２１２は、情報を入力するための機能部であって、図１に示す入力装置１００のキー１１０に相当する。 Input unit 212 is a functional unit for inputting information, corresponding to the key 110 of the input device 100 shown in FIG. 検出部２１４は、入力部２１２に操作体が近接または接触しているか否かを検出する機能部である。 Detection unit 214 is a functional unit for detecting whether the operation body in the input unit 212 is in proximity or in contact. 検出部２１４は、図１に示すタッチセンサ１２０に対応し、操作体と入力部２１２との間の距離を静電容量の大きさにより検出する。 Detection unit 214 corresponds to the touch sensor 120 shown in FIG. 1, for detecting a distance between the input unit 212 and the operation member by the capacitance magnitude. 検出部２１４は、操作体と入力部２１２との間の距離を検出結果として形状検出部２２０および傾き判定部２７０へ出力する。 Detector 214, and outputs it to the shape detecting unit 220 and the tilt determining unit 270 of the distance between the input portion 212 and the operating body as a detection result.
形状検出部２２０は、検出部２１４から入力された検出結果に基づいて、所定の値以上の静電容量を有する有効領域の形状を検出する。 Shape detection unit 220, based on the detection result input from the detection unit 214 detects the shape of the effective region having a capacitance equal to or greater than a predetermined value. 検出部２１４が検出する静電容量の大きさは、操作体が入力部２１２に近づく程大きくなる。 Magnitude of capacitance detection unit 214 detects becomes larger as the operating body approaches the input unit 212. この特徴を利用して、形状検出部２２０は、所定の値以上の静電容量を有する有効領域を特定することができる。 Using this feature, a shape detection unit 220 can identify an effective area having a capacitance equal to or greater than a predetermined value. 形状検出部２２０は、特定した有効領域から操作体の形状やキーの形状等を検出し、キー押下判定部２３０および傾き判定部２７０へ形状の検出結果を出力する。 Shape detection unit 220 detects the shape of the manipulation body shape or key from the effective region identified, and outputs a detection result of the shape to the key depression determining unit 230 and the tilt determining unit 270.
キー押下判定部２３０は、入力部２１２であるキーが操作体により押下されているか否かを判定する。 Keypress determination unit 230 determines whether the key is an input unit 212 is pressed by the operating body. キー押下判定部２３０は、入力部２１２が押下による情報入力の手段として用いられているか、あるいはポインティング操作を行うための手段として用いられているかを判定するため、キーの押下を判定する。 Keypress determination unit 230 to determine whether the input unit 212 is used as a means for performing either used as means for information input by pressing, or a pointing operation, it determines the depression of the key. キー押下判定部２３０は、キーが押下されているか否かを判定した判定結果を重心位置算出部２４０へ出力する。 Keypress determination unit 230 outputs a determination result key is determined whether it is pressed into the center-of-gravity position calculating unit 240.
重心位置算出部２４０は、入力部２１２に近接または接近している操作体の重心位置を算出する。 Center-of-gravity position calculating unit 240 calculates the barycentric position of the operation body in proximity or close to the input unit 212. 重心位置算出部２４０は、入力部２１２がポインティング操作を行うための手段として用いられている場合に機能し、例えば形状検出部２２０により検出された操作体の形状から操作体の重心位置を算出する。 Centroid position calculator 240, the input unit 212 functions when used as a means for performing a pointing operation, calculates the barycentric position of the operating body from the shape of the operators detected by the example, the shape detection unit 220 . 重心位置算出部２４０は、算出した重心位置を重心位置記憶部２４５に記録するとともに、移動量算出部２５０へ出力する。 Centroid position calculation unit 240 records the calculated centroid position to the center of gravity position storage unit 245, and outputs the movement amount calculation unit 250.
重心位置記憶部２４５は、重心位置算出部２４０により算出された重心位置を時間とともに記憶する。 Center-of-gravity position storing unit 245 stores in time the center of gravity position calculated by the gravity center position calculating unit 240. 重心位置記憶部２４５に記憶された各時間における重心位置は、移動量算出部２５０に参照され、ポインティング操作により操作されるカーソル等の移動量算出に用いられる。 The center of gravity position in each time stored in the center-of-gravity position storage unit 245 is referenced to the movement amount calculating section 250 is used for the movement amount calculation of a cursor or the like is operated by the pointing operation.
移動量算出部２５０は、ポインティング操作により操作されるカーソル等の移動量の算出を行う。 Movement amount calculation unit 250 performs the calculation of the amount of movement of a cursor or the like is operated by the pointing operation. 移動量算出部２５０は、現在の操作体の重心位置と前時間における操作体の重心位置とから表示部２６５に表示されているカーソルの移動方向および移動量を算出し、表示処理部２６０へ出力する。 Movement amount calculating section 250 calculates the direction and amount of movement of the cursor displayed on the display unit 265 and a center of gravity of the operating body at the center of gravity position and the previous time of the current operating body, output to the display processing unit 260 to.
表示処理部２６０は、移動量算出部２５０により算出されたカーソルの移動方向および移動量に基づいて、表示部２６５に表示されているカーソルの表示処理を行う。 The display processing unit 260, based on the moving direction and amount of movement of the cursor calculated by the movement amount calculating section 250 performs display processing of a cursor displayed on the display unit 265. 表示処理部２６０は、カーソルの表示処理結果を表示情報として表示部２６５へ出力する。 The display processing unit 260 outputs to the display unit 265 as display information to display the processing result of the cursor. 表示部２６５は、表示処理部２６０から入力された表示情報に基づいて、カーソルを表示する。 Display unit 265, based on the display information input from the display processing unit 260 to display the cursor. また、表示処理部２６０は、ジェスチャ認識部２８０から入力された操作内容に基づいて、表示部２６５の表示処理を行う。 Further, the display processing unit 260, based on the operation content input from the gesture recognition unit 280 performs display processing of the display unit 265. なお、表示部２６５は、図３の出力装置２０７に対応し、例えばＣＲＴディスプレイ装置、液晶ディスプレイ装置、ＯＬＥＤ装置などの表示装置を用いることができる。 The display unit 265 corresponds to the output device 207 of FIG. 3, for example, a CRT display device, a liquid crystal display device, it is possible to use a display device such as an OLED device.
傾き判定部２７０は、入力部２１２の入力面に対する操作体の傾きを判定する。 Tilt determination unit 270 determines the slope of the input object with the input surface of the input unit 212. 入力部２１２の入力面に対する操作体の傾きによって、検出部２１４により検出される操作体の形状は変化する。 By tilting the operating member with respect to the input surface of the input unit 212, the shape of the operators detected by the detecting unit 214 is changed. かかる特性を利用して、傾き判定部２７０は、検出部２１４の検出結果や形状検出部２２０による検出結果から操作体の形状を特定することにより、入力部２１２の入力面に対する操作体の傾きを判定することができる。 Using such properties, tilt determination unit 270, by specifying the shape of the operating tool from the detection result of the detection result and the shape detection unit 220 of the detection unit 214, the tilt of the operation body with respect to the input surface of the input unit 212 it can be determined. 傾き判定部２７０は、検出結果をジェスチャ認識部２８０へ出力する。 Tilt determination unit 270 outputs the detection result to the gesture recognition unit 280.
ジェスチャ認識部２８０は、操作体の動きから、ユーザが行っているジェスチャを認識する。 Gesture recognition unit 280, the movement of the operation member, recognizing a gesture that the user is doing. ジェスチャ認識部２８０は、ジェスチャを認識すると、ジェスチャ記憶部２８５から、認識したジェスチャに対応する操作を取得し、移動量算出部２５０および表示処理部２６０へ出力する。 Gesture recognition unit 280 recognizes the gesture from the gesture storage unit 285, acquires the operation corresponding to the recognized gesture is output to the shift amount calculating part 250 and the display processing section 260. ジェスチャ記憶部２８５は、ジェスチャと操作内容とを関連付けて記憶する記憶部である。 Gesture storage unit 285 is a storage unit that associates and stores the gesture and operation content. ジェスチャ記憶部２８５に記憶されている情報は、予め設定することもでき、ジェスチャとホスト側における操作内容とを関連付けて記憶させることもできる。 Information stored in the gesture storage part 285 may also be set in advance, it may be stored in association with the operation content in the gesture and the host side.
本実施形態では、これらの機能部のうち、表示処理部２６０および表示部２６５を除く機能部は入力装置に備えられる。 In the present embodiment, among these functional units, functional portion excluding the display processing unit 260 and the display unit 265 is provided to the input device. なお、本発明はかかる例に限定されず、例えば移動量算出部２５０、ジェスチャ認識部２８０およびジェスチャ記憶部２８５をホスト側へ設けてもよい。 The present invention is not limited to this example, for example, the movement amount calculation unit 250, the gesture recognition unit 280 and gesture storage part 285 may be provided to the host side.
以上、本実施形態にかかる情報処理装置２００の機能構成について説明した。 This completes the description of the functional configuration of the information processing apparatus 200 according to this embodiment. 本実施形態にかかる入力装置１００は、上述したように操作部２１０をキーの押下により情報を入力する入力手段として用いることもでき、表示部２６５に表示されるカーソルを移動させるポインティング操作を行うための操作手段として用いることもできる。 Input device 100 according to this embodiment can also be used as an input means for inputting information by pressing a key operation unit 210 as described above, for performing a pointing operation for moving a cursor displayed on the display unit 265 It can also be used as an operating means. このとき、操作部２１０を用いてキー入力の操作性を低下させることなくポインティング操作を行うため、操作体が入力部２１２であるキーに接触し、かつキーを押下していない場合にのみ、ポインティング操作を可能とする。 In this case, for performing pointing operation without lowering the operability of the key input using the operation unit 210, in contact with the key operation member is an input unit 212, and only if you have not pressed a key, pointing allow the operation to be. すなわち、複数のキーが配列された操作部表面上に操作体を接触させ、操作部表面上に接触させた状態で操作体を移動させることにより、表示部２６５に表示されたカーソルを移動させることができる。 That is, contacting the plurality of key operating body on the ordered operation unit surface, by moving the operating body being in contact with the operation unit on the surface, moving the displayed on the display unit 265 Cursor can.
＜２． <2. 入力装置における入力処理方法＞ Input processing method in the input device>
以下、図６および図７に基づいて、本実施形態にかかる入力装置１００を用いたカーソル操作方法について説明する。 Hereinafter, with reference to FIGS. 6 and 7, it will be described cursor operation method using the input device 100 according to this embodiment. なお、図６は、本実施形態にかかる入力装置１００を用いたカーソル操作方法を示すフローチャートである。 Incidentally, FIG. 6 is a flowchart showing a cursor operation method using the input device 100 according to this embodiment. 図７は、操作体の動作とそれによるカーソル移動を示す説明図である。 Figure 7 is an explanatory diagram showing an operation and cursor movement by its manipulation body.
［カーソル操作方法］ [Cursor operation method]
本実施形態にかかる入力装置１００を用いたカーソル操作は、情報処理装置２００のホスト側で、入力装置１００によりポインティング操作を行うためのアプリケーションが起動されることにより可能となる。 Cursor operation using the input device 100 according to this embodiment, the host side of the information processing apparatus 200, an application for performing a pointing operation by the input device 100 is made possible by being activated. アプリケーションが起動されると、タッチパネル１２０の静電容量の変化を監視し続けるスレッドが生成される。 When the application is started, the thread continues to monitor the change in capacitance of the touch panel 120 is generated. その中で、まず、形状検出部２２０は、タッチセンサ１２０の情報を取得し補間する（ステップＳ１００）。 Among them, firstly, the shape detecting unit 220 obtains interpolated information of the touch sensor 120 (step S100). タッチパネル１２０には、複数の静電センサが設けられている。 The touch panel 120 is provided with a plurality of the electrostatic sensors. ステップＳ１００において、形状検出部２２０は、各静電センサにより検出された静電容量を取得し、アプリケーション起動時の静電容量と比較して差分を算出し、任意の分解能に補間する。 In step S100, the shape detection unit 220 acquires the electrostatic capacitance detected by each capacitive sensor, calculates a difference as compared with the capacitance of the application startup, interpolating the arbitrary resolution. 分解能は、例えば表示部２６５の解像度に合わせて決定される。 Resolution is determined, for example, in accordance with the resolution of the display unit 265. これにより、図２の下図に示すような静電容量の大きさの分布を表す二次元情報が生成される。 Thus, two-dimensional information indicating the size of the capacitance distribution as shown in the lower part of FIG. 2 is produced.
次いで、形状検出部２２０は、ステップＳ１００において生成された二次元情報から、キーの形状を検出する（ステップＳ１０２）。 Then, the shape detection unit 220, from the two-dimensional information generated in step S100, detects the shape of the key (step S102). 入力装置１００には、当該入力装置１００のキーの形状およびサイズが予め設定されている。 The input device 100, the shape and size of a key of the input device 100 is set in advance. 例えば、一辺の長さが約１２ｍｍの矩形であることが、キーの形状およびサイズとして図示しない記憶部に記憶されている。 For example, the length of one side is a rectangle approximately 12mm is stored in the storage unit (not shown) as the shape and size of the key. 形状検出部２２０は、二次元情報から予め設定されたキーの形状およびサイズが存在するか否かを検出する。 Shape detection unit 220 detects whether there is the shape and size of the preset key from the two-dimensional information. 形状検出部２２０は、二次元情報から予め設定されたキーの形状およびサイズと一致する形状を検出すると、操作体がキーに接触していると判定し（ステップＳ１０４）、キー押下判定部２３０にキーの押下を判定させる（ステップＳ１０６）。 Shape detection unit 220 detects a shape that matches the shape and size of the preset key from the two-dimensional information, it is determined that the operation tool is in contact with the key (step S104), and the key depression determining unit 230 to determine the key press (step S106).
一方、形状検出部２２０により二次元情報から予め設定されたキーの形状およびサイズと一致する形状が検出されない場合には、操作体はキーと接触していないと判定され、ポインティング操作をする状態ではないと判定される。 On the other hand, when the shape by the shape detection unit 220 matches the shape and size of the preset key from the two-dimensional information is not detected, the operation body is determined not to have contact with the key, in the state in which the pointing operation it is determined that there is no. したがって、すでに記憶されている重心位置が存在する場合にはリセットして（ステップＳ１０８）、当該処理を終了し、ステップＳ１００から再度処理を開始する。 Therefore, the reset when the gravity center position that has already been stored there (step S108), and terminates the processing, and starts the process again from step S100.
ステップＳ１０６に戻り、キー押下判定部２３０は、ステップＳ１０４において二次元情報からキーの形状およびサイズと一致する形状が検出された時点から所定の時間内当該キーの押下がされていないか否かを判定する。 Returning to step S106, the key depression determining unit 230, whether or not shaped to conform to the shape and size of the key from the two-dimensional information has not been pressed for a predetermined time within the key from the time it is detected in step S104 judge. そして、所定の時間キーの押下が検出されなければ、ユーザは入力装置１００を用いてポインティング操作を行うものと判断し、ステップＳ１１０以降のカーソルの移動量の算出処理を開始する。 Then, if depression of a predetermined time key is detected, the user determines that performs pointing operation using the input device 100, step S110 starts the process of calculating the movement amount after the cursor. 一方、所定の時間キーの押下が検出された場合には、ユーザはポインティング操作ではなくキー入力を行うと判断する。 On the other hand, if the depression of a predetermined time key is detected, the user determines to perform the key input instead of pointing operation. したがって、すでに記憶されている重心位置が存在する場合にはリセットして（ステップＳ１０８）、当該処理を終了し、ステップＳ１００から再度処理を開始する。 Therefore, the reset when the gravity center position that has already been stored there (step S108), and terminates the processing, and starts the process again from step S100.
ステップＳ１０８にて所定の時間キーの押下が検出されなかった場合、重心位置算出部２４０は、検出部２１４の検出結果に基づいて生成された二次元情報の有効領域から操作体の重心位置を算出し、重心位置記憶部２４５へ記録する（ステップＳ１１０）。 If at step S108 is pressed for a predetermined time key has not been detected, the centroid position calculator 240 calculates a centroid position of the operating tool from the effective area of ​​the two-dimensional information that is generated based on the detection result of the detection unit 214 and, recording on the center of gravity position storage unit 245 (step S110). 重心位置算出部２４０は、検出部２１４により検出された所定の値以上の静電容量を有する有効領域における静電容量値に基づいて重心位置を算出する。 Center-of-gravity position calculating unit 240 calculates the barycentric position based on the capacitance value in the effective region having the predetermined value or more electrostatic capacitance detected by the detection unit 214.
このとき、例えば、図２に示すように、重心位置算出部２４０は、操作体の形状に対応する部分１２２ａとキーの形状に対応する部分１２２ｂとの両方を含めたすべての有効領域における重心位置を算出してもよい。 In this case, for example, as shown in FIG. 2, the center-of-gravity position calculating unit 240, the center of gravity position in all of the effective region, including both the portion 122b corresponding to the shape of the portion 122a and the key corresponding to the shape of the operating body it may be calculated. あるいは、キー上に均一に分布した静電容量値をそのまま重心位置算出に用いると、特に同一キー上での操作体の移動検出に対して感度が鈍くなる可能性がある。 Alternatively, the use of electrostatic capacitance values ​​uniformly distributed on the key as it is the center of gravity position calculation, there is a possibility that the sensitivity becomes dull, especially for movement detection of the operating tool on the same key. そこで、キーの形状に対応する部分１２２ｂの静電容量値に対しては任意の重み付けを行い、重心位置算出への影響を小さくすることで、操作体の移動に対する感度の低下を回避することができる。 Therefore, make the desired weights for the capacitance value of the portion 122b corresponding to the shape of the key, by reducing the influence of the gravity center position calculation, it is possible to avoid the deterioration of the sensitivity to movement of the operator it can. 重心位置算出部２４０は、算出した重心位置を重心位置記憶部２４５へ記録するとともに、移動量算出部２５０へ出力する。 Centroid position calculation unit 240 records the calculated centroid position to the center-of-gravity position storing unit 245, and outputs the movement amount calculation unit 250.
その後、移動量算出部２５０は、前回の重心位置から現在の重心位置までの移動量を算出する（ステップＳ１１２）。 Thereafter, the shift amount calculating part 250 calculates the amount of movement to the current centroid position from the previous position of the center of gravity (step S112). 移動量算出部２５０は、重心位置記憶部２４５を参照して、前回の操作体の重心位置が記憶されているか否かを探索し、前回の操作体の重心位置が記憶されている場合には、操作体の移動方向および移動量を算出する。 Movement amount calculation unit 250, when referring to the gravity center position storage unit 245, the center of gravity of the previous operation body is searched whether stored, the center of gravity of the previous operation body is stored , it calculates the moving direction and the moving distance of the operator. 一方、重心位置記憶部２４５に前回の操作体の重心位置が記憶されていない場合には、移動量算出部２５０は、例えば移動量をゼロとする。 On the other hand, when the center of gravity of the previous operation body to the center-of-gravity position storing unit 245 is not stored, the movement amount calculation unit 250, for example, the amount of movement is zero. そして、表示処理部２６０は、移動量算出部２５０によって算出された移動量に応じて、表示部２６５に表示されているカーソルを移動させる（ステップＳ１１４）。 Then, the display processing unit 260, in accordance with the movement amount calculated by the movement amount calculating section 250 moves the cursor displayed on the display unit 265 (step S114). このようにして、操作部表面上で操作体を移動させる動作に応じて、移動表示部２６５のカーソルを移動することができる。 In this way, it is possible in accordance with the operation of moving the operation body on the operation unit surface, to move the cursor movement display unit 265.
具体例を図７に示すと、まず、ユーザが操作体である指Ｆを「Ｆ」キー１１０ｆ上の手前側（ユーザ側）に接触させているとする。 When showing a specific example in FIG. 7, first, that the user is contacting the finger F which is the operation body in front of the "F" key 110f (user side). このとき、表示部２６５のカーソルは、カーソル位置２６２ａに位置する。 At this time, the cursor of the display unit 265 is positioned at the cursor position 262a. その後、ユーザが指Ｆで操作体表面上をカーブを描くようになぞって、「Ｆ」キー１１０ｆの右側に位置する「Ｊ」キー１１０ｊ上の奥側（ユーザから離隔する側）へ指Ｆを移動させる。 Then, by tracing the operating body on the surface the user with a finger F to draw a curve, the finger F to the back side (the side away from the user) on the "J" key 110j positioned on the right side of "F" key 110f so moved. この間、図６のステップＳ１００からステップ１１４の処理が繰り返し行われ、所定の間隔で表示部２６５に表示されているカーソルの移動量が算出され、表示部２６５に表示されたカーソルが移動される。 During this time, the process of step 114 from step S100 in FIG. 6 is repeated, the amount of movement of the cursor displayed on the display unit 265 at predetermined intervals is calculated, the cursor displayed on the display unit 265 is moved. これにより、指Ｆのカーブを描くような動作に応じて、表示部２６５のカーソルがカーブを描くように、カーソル位置２６２ａからカーソル位置２６２ｂまで移動する。 Thus, depending on the operation to draw a curve of the finger F, the cursor of the display unit 265 so as to draw a curve, moving from cursor 262a to Cursor 262b.
このように、本実施形態にかかる入力装置１００を用いることにより、操作部の表面を利用したポインティング操作が可能となる。 In this way, by using the input device 100 according to this embodiment enables a pointing operation using the surface of the operation portion. また、操作体がキーに接触し、かつキーを押下していない場合にのみ入力装置１００を用いたポインティング操作を可能とする。 Further, the operating body contacts the key, and to allow pointing operation using only the input device 100 when not pressed the key. これにより、ユーザがキー操作を行いたい場合にキーに手を近接させたり接触させたりしても、かかる動作によってカーソルが移動してしまうことが減少し、キー入力の操作性の低下を防止することができる。 Thus, even or key contacting or in close proximity to hand if you want to user key operation, reduces that would move the cursor by such operation, to prevent deterioration in operability of the key input be able to. なお、入力装置１００がポインティング操作を行う手段として機能している状態でも、例えばいずれかのキー１１０が押下されることにより、ポインティング操作を行う手段としては機能しなくなり、通常のキー入力を行う入力手段として使用することができる。 Incidentally, even when the input device 100 functions as a means for performing a pointing operation, by for example any of the key 110 is pressed, no longer functions as a means for performing pointing operation, performs the normal key input Input it can be used as a means.
［操作体の状態に応じた操作方法］ [Procedure in accordance with the state of the operating body]
本実施形態にかかる入力装置１００では、タッチセンサ１２０により操作体である指とキー１１０との距離を検出することにより、キー１１０との接触部分および非接触部分の指の状態を把握することが可能である。 In the input device 100 according to this embodiment, by detecting the distance between the finger and the key 110 is an operation member by the touch sensor 120, to grasp the state of the finger contact portion and the non-contact portions between the key 110 possible it is. このため、上述した本実施形態の入力装置１００を用いたカーソル操作方法においては、操作体である指の状態を検出することによって、ジェスチャによる入力操作を行うことも可能となる。 Therefore, in the cursor operation method using the input device 100 of the present embodiment described above, by detecting the state of the finger which is an operation member, it is possible to perform an input operation with the gesture. 例えば、一部がキー１１０に接触した状態で非接触部分を動かすジェスチャを行うことで、当該ジェスチャと関連付けられた操作内容を実行するようにする。 For example, partially by performing a gesture to move the non-contact portion in contact with the key 110, so as to perform the operation content associated with the gesture. これにより、入力装置１００による操作性をより向上させることができる。 This makes it possible to improve the operability by the input device 100.
また、本実施形態にかかる入力装置１００では、タッチセンサ１２０が、操作部に接触する操作体の数を検出することも可能である。 Further, in the input device 100 according to the present embodiment, the touch sensor 120, it is also possible to detect the number of the operator in contact with the operation unit. これにより、操作部と接触している操作体の数に応じて処理モードを変更するようにする等のように、ポインティング操作やジェスチャによる入力操作により入力可能な処理を多様なものとすることができる。 Thus, as in the like so as to change the processing mode in accordance with the number of the operating tool in contact with the operation unit, be enterable processing as diverse by the input operation by the pointing operation or a gesture it can.
［（１）ジェスチャによる操作］ [(1) Operation by gesture]
まず、図８〜図１３に基づいて、操作体の状態に応じた操作方法として、ジェスチャによる操作について説明する。 First, based on FIGS. 8 13, as an operation method corresponding to the state of the operating body, is described the operation with the gesture. なお、図８は、本実施形態にかかる操作体の状態に応じた操作方法を示すフローチャートである。 Incidentally, FIG. 8 is a flowchart illustrating a method of operation according to the state of the operating tool according to the present embodiment. 図９は、指が寝ている状態の静電容量の状態を示す説明図である。 Figure 9 is an explanatory view showing the state of the electrostatic capacitance attained sleeping finger. 図１０は、指が立っている状態の静電容量の状態を示す説明図である。 Figure 10 is an explanatory view showing the state of the electrostatic capacitance attained finger is standing. 図１１は、指を回転させた状態の静電容量の状態を示す説明図である。 Figure 11 is an explanatory view showing a state of the capacitance while rotating the finger. 図１２は、ジェスチャの例を示す説明図である。 Figure 12 is an explanatory diagram showing an example of a gesture. 図１３は、ジェスチャモード時のカーソルの表示例を示す説明図である。 Figure 13 is an explanatory diagram showing a display example of the cursor when the gesture mode.
図８に示すフローチャートは、図６に示すフローチャートのステップＳ１１２の後続処理として行われる。 Flowchart shown in FIG. 8 is performed as a subsequent process in step S112 of the flowchart shown in FIG. すなわち、ここでは入力装置１００が、キー入力を行う入力手段、およびポインティング操作を行う入力手段として用いられるとともに、ジェスチャによる操作を行う入力手段として用いられる操作方法を示す。 That is, here the input device 100 indicates an input means for performing key input, and with used as an input means for performing a pointing operation, the operation method to be used as input means for performing an operation by the gesture.
まず、図６のステップＳ１１２においてカーソルの移動量が算出されると、傾き判定部２７０により指が寝ている状態であるか否かが判定される（ステップＳ２１０）。 First, the amount of movement of the cursor in step S112 of FIG. 6 is calculated, whether or not the state by the inclination determination unit 270 is sleeping finger is determined (step S210). 一般的に、人間は、キーボードのキー１１０をタイピングするとき、キー１１０の表面に対して必ず指を立てている。 In general, human beings, when typing the keyboard of the key 110, are sure to make a finger with respect to the surface of the key 110. これは、指を寝かせるとキー１１０に圧力をかけることができず、押下したいキー１１０に隣接するキー１１０を誤って押下する恐れがあるためである。 This can not apply pressure to the key 110 when laying the finger, there is a possibility that inadvertently pressing keys 110 adjacent to the key 110 to be pressed. 本実施形態では、かかる特性を用いて、ユーザがキー１１０の押下による入力ではなく、入力装置１００を用いてジェスチャによる入力操作を行おうとしているか否かを判定する。 In the present embodiment, by using such characteristics, the user is not the input by pressing the key 110, determines whether the attempted an input operation with the gesture using the input device 100.
傾き判定部２７０は、検出部２１４による検出結果に基づき生成された静電容量の二次元情報から、操作体である指の状態を判定する。 Tilt determination unit 270 determines the two-dimensional information of the generated electrostatic capacitance based on the detection result by the detection unit 214, the state of the finger which is an operation member. 例えば、指が寝ている状態における静電容量の二次元情報には、図９に示すように、指Ｆの形状を示す部分１２２ａと指Ｆが接触する「Ｆ」キーの形状を示す部分１２２ｂとが有効領域として示されている。 For example, the two-dimensional information of the capacitance in the state that sleeping finger, as shown in FIG. 9, the portion 122b showing the shape of "F" key portions 122a and the finger F is in contact showing the shape of the finger F bets are shown as an effective area. このとき、指Ｆがキー１１０に近接する部分は多いことから、図９に示すように、指Ｆの形状を示す部分１２２ａが長く表れる。 At this time, since the portion where the finger F is close to the key 110 is large, as shown in FIG. 9, the portion 122a showing the shape of the finger F appears longer. また、例えば、指が立っている状態における静電容量の二次元情報には、図１０に示すように、指Ｆの形状を示す部分１２２ａと指Ｆが接触する「Ｆ」キーの形状を示す部分１２２ｂとが有効領域として示されている。 Further, for example, the two-dimensional information of the electrostatic capacitance in a state where the finger is set, as shown in FIG. 10, showing the shape of "F" key portions 122a and the finger F that indicates the shape of the finger F is in contact and portion 122b is shown as an effective area. このとき、指Ｆがキー１１０に近接する部分は少ないことから、図１０に示すように、指Ｆの形状を示す部分１２２ａが短く表れる。 At this time, since the portion is small finger F comes close to the key 110, as shown in FIG. 10, the portion 122a showing the shape of the finger F appears shortened.
このような二次元情報から把握される有効領域の指Ｆの形状から、指Ｆが寝ているか否かを判定することができる。 From the shape of the finger F of the effective region to be grasped from such two-dimensional information, it is possible to determine whether the finger F is sleeping. 例えば、有効領域の指Ｆの形状のうち、長手方向の長さが所定の長さ以上であれば、指Ｆが寝ていると判定することができる。 For example, of the shape of the finger F of the effective region, the length of the longitudinal direction is equal to a predetermined length or more, determines that sleeping finger F. ステップＳ２１０にて、指が寝ていると判定された場合には、ユーザの指Ｆの動作からジェスチャが認識されたか否かを判定する（ステップＳ２２０）。 In step S210, if it is determined that the sleeping finger, determines whether a gesture has been recognized from the operation of the finger F of the user (step S220).
ジェスチャ認識部２８０によりジェスチャが行われたか否かは、二次元情報における指Ｆの形状の部分１２２ａの変化により認識することができる。 Whether gesture has been performed by the gesture recognition unit 280 may recognize the change of the portion 122a of the shape of the finger F in the two-dimensional information. 例えば、図９に示すように指Ｆを寝かせた状態から指Ｆの先端をキー１１０に接触させたまま時計回りに回転させると、図１１に示すように、二次元情報から把握される有効領域のうちキーの形状の部分１２２ｂの位置は変化しないが、指Ｆの形状の部分１２２ａは形状および位置が変化している。 For example, is rotated clockwise kept in contact from a state in which laid a finger F to the tip of the finger F to the key 110 as shown in FIG. 9, as shown in FIG. 11, the effective grasped from two-dimensional information area position of the portion 122b of the shape of the key out of does not change, the portion 122a of the shape of the finger F is shape and location is changed. これより、指Ｆを回転させるジェスチャが行われたことを認識することができる。 From this, it is possible to recognize that gesture to rotate the finger F has been performed.
ステップＳ２２０において、ジェスチャ認識部２８０によりジェスチャが行われたことが認識されると、ジェスチャに関連付けられた処理が実行される（ステップＳ２３０）。 In step S220, when that gesture has been performed is recognized by the gesture recognition unit 280, processing associated with the gesture is executed (step S230). まず、ジェスチャ認識部２８０は、認識したジェスチャに対応する操作内容をジェスチャ記憶部２８５から取得する。 First, the gesture recognition unit 280 acquires operation content corresponding to the recognized gesture from the gesture storage part 285. ジェスチャ記憶部２８５には、図１２に示すような複数のジェスチャと操作内容とが関連付けて記憶されている。 The gesture storage part 285 includes a plurality of gestures, such as shown in FIG. 12 and operation contents are stored in association.
例えば、図１２（ａ）に示すように、ユーザが指Ｆをキー１１０に接触させた状態でジグザグに移動させると、直前に行った処理を取り消す処理を行うようにすることができる。 For example, as shown in FIG. 12 (a), the user can is moved in a zigzag in a state contacting the finger F to the key 110, to perform the processing to cancel the processing performed immediately before. また、図１２（ｂ）に示すように、ユーザが指Ｆを奥側から手前側へ繰り返し移動させるとマウスホイールダウン処理を行い、図１２（ｃ）に示すように、指Ｆを手前側から奥側へ繰り返し移動させるとマウスホイールアップ処理を行うようにすることもできる。 Further, as shown in FIG. 12 (b), when the user moves repeatedly frontward the finger F from the rear side performs the mouse wheel down process, as shown in FIG. 12 (c), the finger F from the front side when the repetition is moved to the rear side can also be performed the mouse wheel up process. さらに、図１２（ｄ）に示すように、ユーザが指Ｆを右側から左側へ繰り返し移動させると前ページへの移動処理を行い、図１２（ｅ）に示すように、指Ｆを左側から右側へ繰り返し移動させると次ページへの移動処理を行うようにすることもできる。 Furthermore, as shown in FIG. 12 (d), the user performs a movement process of the prior Moving repeatedly to the left of the finger F from the right side pages, as shown in FIG. 12 (e), the right finger F from the left When is to repeatedly move it can also be performed to move the process to the next page. また、２本の指Ｆをキー１１０に接触させた状態で、図１２（ｆ）に示すように左側の指Ｆをタップさせるとマウス左ボタンを押下する処理を行い、図１２（ｇ）に示すように右側の指Ｆをタップさせるとマウス右ボタンを押下する処理を行うようにすることもできる。 Further, in a state contacting the two fingers F key 110, it performs a process of pressing the left mouse button to tap the finger F on the left as shown in FIG. 12 (f), FIG. 12 (g) it is also possible to perform the process of pressing the right mouse button is tapped the right of the finger F as shown.
ジェスチャ認識部２８０は、認識されたジェスチャに対応する操作内容を取得すると、操作内容を移動量算出部２５０および表示処理部２６０へ出力する。 Gesture recognition unit 280 acquires the operation content corresponding to the recognized gesture, and outputs the operation content to the movement amount calculating section 250 and the display processing section 260. 操作内容を実行するにあたり、操作体の重心位置の移動量が必要な場合には、移動量算出部２５０により移動量を算出した後、表示処理部２６０により操作内容に対応する表示処理が行われる。 Upon executing the operation content, if necessary moving amount of the center-of-gravity position of the operating body, after calculating the amount of movement, the display processing corresponding to the operation content by the display processing unit 260 is performed by the movement amount calculating section 250 . 一方、操作内容を実行するにあたり、操作体の重心位置の移動量が不要である場合には、直接表示処理部２６０により操作内容に対応する表示処理が行われる。 On the other hand, when performing the operation contents, when the amount of movement of the center of gravity of the operation body is not required, the display process corresponding to the operation content by the direct display processing unit 260 is performed. このとき、ジェスチャモードであることをユーザに通知するため、例えば図１３に示すように、カーソル２６２に近傍にジェスチャアイコン２６４を表示させてもよい。 At this time, in order to notify that the gesture mode to the user, for example, as shown in FIG. 13, may be displayed gesture icon 264 near the cursor 262.
なお、ステップＳ２１０にて指が寝ていないと判定された場合、またはステップＳ２２０にてジェスチャ認識部２８０によりジェスチャが認識されなかった場合には、通常のポインティング操作を行う（ステップＳ２４０）。 When it is determined that no sleeping finger at step S210, or when the gesture has not been recognized by the gesture recognition unit 280 at step S220, performs a normal pointing operation (step S240).
以上、ジェスチャによる入力操作を可能とする、操作体の状態に応じた操作方法について説明した。 Above, to allow input operation with the gesture has been described the operation method depending on the state of the operating tool. これにより、入力装置１００により多様な情報の入力を行うことができる。 Thus, it is possible to input various information through the input device 100.
［（２）ポインティング操作における処理モードの変更］ [(2) Changing the processing mode in the pointing operation]
本実施形態の入力装置１００では、図１２（ｆ）、（ｇ）に示すように、複数の指を検出することが可能である。 In the input device 100 of the present embodiment, as shown in FIG. 12 (f), (g), it is possible to detect a plurality of fingers. このように、表示処理部２６０は、操作部表面に接触された指の本数に応じて、ポインティング操作における処理モードを変更することもできる。 Thus, the display processing unit 260, according to the number of the contact with the operating unit surface finger, it is possible to change the processing mode of the pointing operation. 以下、図１４および図１５に基づいて、ポインティング操作における処理モードの変更について説明する。 Hereinafter, based on FIGS. 14 and 15, it will be described change of the processing mode in the pointing operation. なお、図１４は、カーソルモードの動作例を示す説明図である。 Incidentally, FIG. 14 is an explanatory diagram showing an operation example of the cursor mode. 図１５は、カーソルモード時のカーソルの表示例を示す説明図である。 Figure 15 is an explanatory diagram showing a display example of the cursor when cursor mode.
本実施形態にかかる入力装置１００を用いたポインティング操作は、上述したように、操作体がキー１１０に接触し、かつ所定の時間以上キー１１０を押下していない場合に可能となる。 Pointing operation using the input device 100 according to this embodiment, as described above, the operation body is possible when in contact with the key 110, and is not pressed for a predetermined time or more keys 110. このとき、表示処理部２６０は、キー１１０と接触している操作体の数に応じて処理モードを変更するようにする。 At this time, the display processing unit 260 to change the processing mode in accordance with the number of the operating tool in contact with the key 110.
例えば、図１４（ａ）に示すように、キー１１０に接触している操作体である指の数が１本である場合には、通常のマウスの移動処理とし、表示部２６５に表示されたカーソルの移動のみを行う。 For example, as shown in FIG. 14 (a), when the number of finger which is an operation member which is in contact with the key 110 is one is the process of moving the normal mice, is displayed on the display unit 265 perform only the movement of the cursor. 次に、図１４（ｂ）に示すように、キー１１０に接触している操作体である指の数が２本である場合には、Ｃｔｒｌキーを押下しながらマウスを移動させた状態として処理する。 Next, as shown in FIG. 14 (b), when the number of finger which is an operation member which is in contact with the key 110 is two, the processing in a state of moving the mouse while pressing the Ctrl key to. また、図１４（ｃ）に示すように、キー１１０に接触している操作体である指の数が３本である場合には、Ａｌｔキーを押下しながらマウスを移動させた状態として処理する。 Further, as shown in FIG. 14 (c), when the number of finger which is an operation member which is in contact with the key 110 is three, the processing in a state of moving the mouse while pressing the Alt key . そして、図１４（ｄ）に示すように、キー１１０に接触している操作体である指の数が４本である場合には、Ｓｈｉｆｔキーを押下しながらマウスを移動させた状態として処理する。 Then, as shown in FIG. 14 (d), when the number of finger which is an operation member which is in contact with the key 110 is four processes as a state of moving the mouse while holding down the Shift key .
このように、操作部表面に接触している操作体の数に応じて、ポインティング操作における処理モードを変更することにより、例えば、図１４（ｂ）〜（ｄ）に示すような、従来はキー１１０の押下とマウスの移動という２つの操作を平行して行う必要のあった操作を簡略化することができる。 Thus, according to the number of the operating tool in contact with the operation portion surface, by changing the processing mode of the pointing operation, for example, as shown in FIG. 14 (b) ~ (d), the conventional key 110 depressing the mouse movement two operations that the it is possible to simplify the operations for which the need to perform in parallel. このとき、ポインティング操作における処理モードを表示部２６５に表示させることにより、ユーザに動作状態を通知することができる。 At this time, by displaying the processing mode in the pointing operation on the display unit 265 can notify the operation state to the user. 例えば、図１５に示すように、カーソル２６２に近傍に処理モードアイコン２６６を表示させて通知することができる。 For example, as shown in FIG. 15, it is possible to notify to display the processing mode icon 266 near the cursor 262. 図１５の処理モードアイコン２６６は、図１４（ｂ）に示したＣｔｒｌキーを押下しながらマウスを移動させた状態として処理している状態であることを示している。 Processing mode icon 266 in FIG. 15 indicates a state of being treated as a state of moving the mouse while pressing the Ctrl key shown in FIG. 14 (b).
以上、本実施形態にかかる入力装置１００とこれを用いた入力操作方法について説明した。 This completes the description of the input operation method using the input device 100 according to this embodiment. 本実施形態によれば、操作部に対する操作体の近接および接触が検出可能なタッチセンサ１２０を設けることにより、入力装置１００をキー入力による入力手段として用いるとともに、ポインティング操作を行うための手段として用いることができる。 According to this embodiment, by providing a detectable touch sensor 120 is adjacent and contact of the operation on the operation section, with using the input device 100 as an input means by the key input is used as a means for performing a pointing operation be able to. このように、物理的に同一のスペースに２つの操作手段を配置できるため、入力装置１００の面積節約や小型化を実現することができる。 Thus, it is possible to place two operating means in the same physical space, it is possible to realize the area savings and miniaturization of the input device 100. また、キー１１０の接触のみでカーソルを操作することができるので、ユーザの操作性を容易にすることができる。 Further, it is possible to operate the cursor only in contact with the key 110, it is possible to facilitate the operation of the user. さらに、操作体がキー１１０に接触し、かつキー１１０を所定時間以上押下していない場合にのみ入力装置１００をポインティング操作を行うための手段として機能させる。 Furthermore, the operating body comes into contact with the key 110, and to function key 110 as means for performing pointing operation input device 100 only when not pressed for a predetermined time or more. このように、ユーザがキー入力を意図しているか、あるいはポインティング操作を意図しているかを判別することにより、通常のキー入力の操作性を低下させることなく、ポインティング操作を行うことができる。 Thus, by determining whether the user has intended or is intended key input or pointing operation, without lowering the operability of the normal key input, it is possible to perform pointing operation.
また、本実施形態では、操作体の近接および接触を検出可能なタッチセンサを設けることで、操作体の動作（ジェスチャ）や、操作部に接触する操作体の数を検出することができる。 Further, in this embodiment, by providing a detectable touch sensor proximity and contact of the operation, it is possible to detect the operation of the operation body (gesture) and the number of the operation tool in contact with the operation portion. これにより、単純なカーソル移動操作に加えて、多様な処理を行うことができる。 Thus, in addition to simple cursor movement operation, it is possible to perform various processing.
例えば、上記実施形態では、操作体である指が寝ているか否かによりジェスチャモードへの移行を判定したが、本発明はかかる例に限定されない。 For example, in the above embodiment, to determine the transition to the gesture mode by whether sleeping is operating body fingers, the present invention is not limited to such an example. 例えば、操作体である指の状態によってポインティング操作を可能とするか否かを判定するようにしてもよい。 For example, it may be determined whether to enable the pointing operation by the state of the finger which is an operation member. 上述した本実施形態の入力装置１００を用いたカーソル操作方法において、ユーザがキー入力を行うためにキー上に指を接触させた状態で載置する場合がある。 In cursor operation method using the input device 100 of the present embodiment described above, it may be placed in a state in which the user contacting the finger on the key to perform the key input. このとき、所定の時間キーを押下しないと、入力部２１２がポインティング操作を行う手段として機能し、指の動きに応じてカーソルが移動するようになる。 At this time, when not pressed for a predetermined time key, the input unit 212 functions as a means for performing a pointing operation, the cursor will be moved in response to movement of the finger. このような状態によってカーソルの誤操作が生じる可能性もある。 There is also a possibility that erroneous operation of the cursor caused by such conditions. そこで、例えば形状検出部２２０が操作体である指の状態によってポインティング操作を可能とするか否かを判定することで、カーソルの誤操作を防止することもできる。 Therefore, for example, the state of the posture detection unit 220 is an operation member by determining whether to enable the pointing operation, it is possible to prevent the erroneous operation of the cursor.
１００ 入力装置 １１０ キー １２０ タッチセンサ １３０ キーボード ２００ 情報処理装置 ２１０ 操作部 ２１２ 入力部 ２１４ 検出部 ２２０ 形状検出部 ２３０ キー押下判定部 ２４０ 重心位置算出部 ２４５ 重心位置記憶部 ２５０ 移動量算出部 ２６０ 表示処理部 ２６５ 表示部 ２７０ 傾き判定部 ２８０ ジェスチャ認識部 ２８５ ジェスチャ記憶部 100 input device 110 key 120 touch sensor 130 keyboard 200 information processing apparatus 210 operating unit 212 input unit 214 detecting unit 220 shape detection unit 230 keypress determination unit 240 centroid position calculation unit 245 barycentric position storage unit 250 movement amount calculating section 260 displaying process part 265 display unit 270 tilt determination unit 280 the gesture recognition unit 285 gesture storage unit
ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、前記キーと電気的に接続され、操作体との近接距離を静電容量の変化により検出する静電容量検出部を備える操作部と、 Between the plurality of keys comprising a base and arrayed conductors on the base, the keys and are electrically connected to the capacitance detection unit that detects a change in capacitance an approach distance between the operating body an operation unit equipped with a,
前記静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出し、前記有効領域から予め記憶された前記キーの形状を検出する形状検出部と、 Based on the capacitance value detected by the capacitance detection unit detects the effective region having a capacitance equal to or greater than a predetermined value, shape detection which detects the shape of the previously stored the key from the effective region and parts,
前記形状検出部により前記有効領域から前記キーの形状が検出された場合に前記操作体が接触しているキーが所定時間以上押下されていないか否かを判定する判定部と、 Key the operation tool is in contact with a determination section for determining whether or not pressed for a predetermined time or more when the shape of the key from the effective area is detected by the shape detection unit,
前記キーが所定時間以上押下されていない場合に、前記操作部表面に接触して移動する前記操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる表示処理部と、 If the key is not pressed for a predetermined time or more, and in response to said movement of the operating tool that moves in contact with the operating portion surface, the display processing unit for moving the object displayed on the display unit,
前記有効領域の重心位置を算出する重心位置算出部と、 A center-of-gravity position calculating unit for calculating a barycentric position of the effective region,
前記重心位置の移動量を算出する移動量算出部と、 A movement amount calculating section for calculating a movement amount of the gravity center position,
前記表示処理部は、算出された前記移動量に応じて、表示部に表示されているオブジェクトを移動させる、請求項１に記載の入力装置。 The display processing unit, depending on the calculated amount of movement, moves the object displayed on the display unit, an input device according to claim 1.
前記形状検出部は、前記有効領域から前記操作体の形状をさらに検出し、 The shape detection unit further detects a shape of the operating tool from the effective region,
前記重心位置判定部は、前記有効領域のうち前記操作体の形状部分における重心位置を算出する、請求項２に記載の入力装置。 The center-of-gravity position determination unit calculates a center of gravity position in the shaped portion of the operating body of the effective area, the input device according to claim 2.
前記形状検出部により検出された前記操作体の形状から、前記操作部表面に対する前記操作体の傾きの程度を判定する傾き判定部を備え、 Wherein the shape of the operating body detected by the shape detection unit, equipped with a determined inclination determination unit of the degree of tilt of the operating body on the operating unit surface,
前記表示処理部は、前記傾き判定部により前記操作体の傾きが所定の値以下であると判定された場合に、前記操作部表面に接触して移動する前記操作体の動きに応じて、表示部に表示されているオブジェクトを移動させる、請求項１に記載の入力装置。 The display processing unit, when the tilt of the operation body by the tilt determining unit is determined to be equal to or less than a predetermined value, in response to movement of the operating member which moves in contact with the operation portion surface display moving the object displayed in the section, the input device according to claim 1.
前記静電容量検出部および前記形状検出部による検出結果から取得される前記操作体の状態の変化からジェスチャを認識するジェスチャ認識部と、 Recognizing the gesture recognition unit gestures from a change in state of the operating body that is obtained from the detection result of the capacitance detection unit and the shape detection unit,
前記ジェスチャと前記表示部の表示内容を操作する操作内容とを関連付けて記憶するジェスチャ記憶部と、 Gesture storage unit that associates and stores the operation content to operate the display content of the display unit and the gesture,
前記ジェスチャ認識部は、前記操作体の状態の変化からジェスチャを認識すると、前記ジェスチャ記憶部から前記認識されたジェスチャに対応する操作内容を取得して前記表示処理部へ出力し、 The gesture recognition unit recognizes the gesture from a change in state of the operating body, the acquired operation content corresponding to the recognized gesture from the gesture storage unit and outputs to the display processing unit,
前記表示処理部は、前記ジェスチャ認識部から入力された前記操作内容に基づいて、前記表示部の表示内容を処理する、請求項４に記載の入力装置。 The display processing part, based on the operation content input from the gesture recognition unit processes the display content of the display unit, an input device according to claim 4.
前記形状検出部は、前記操作体表面に接触している前記操作体の数を検出し、 The shape detection unit detects the number of the operation tool in contact with the operation surface,
前記表示処理部は、前記形状検出部により検出された前記操作体の数に応じて、前記表示部に表示されているオブジェクトを移動させる際の処理モードを変更する、請求項１に記載の入力装置。 The display processing unit in accordance with the number of detected the operating body by the shape detecting unit, to change the processing mode for moving an object displayed on the display unit, the input of claim 1 apparatus.
操作体との近接距離を静電容量の変化により検出する静電容量検出部により、ベースと当該ベース上に配列された導電体からなる複数のキーとの間に、前記キーと電気的に接続された前記静電容量検出部を備える操作部の表面に前記操作体が近接または接触することによって変化する静電容量を検出するステップと、 The capacitance detection unit for detecting an approach distance between the operating body by the change in capacitance, between the plurality of keys made of a conductor arranged on the base and the base, electrically connected to said key detecting an electrostatic capacitance which varies by been the operating body approaches or contacts the operation portion surface comprising the capacitance detection unit,
前記静電容量検出部により検出された静電容量値に基づいて所定の値以上の静電容量を有する有効領域を検出するステップと、 Detecting an effective area having a capacitance larger than a predetermined value based on the electrostatic capacitance value detected by the capacitance detection unit,
前記有効領域から予め記憶された前記キーの形状を検出するステップと、 Detecting a shape of the previously stored the key from the effective region,
前記有効領域から前記キーの形状が検出された場合に前記操作体が接触しているキーが所定時間以上押下されていないか否かを判定するステップと、 Determining whether the key shape of the key from the effective region is in contact with the operating body when it is detected is not pressed for a predetermined time or more,
前記キーが所定時間以上押下されていない場合に、前記操作部表面に接触して移動する前記操作体の動きに応じて、表示部に表示されているオブジェクトを移動させるステップと、 If the key is not pressed for a predetermined time or more, and moving the object in response to the movement of the operating tool that moves in contact with the operation portion surface, it is displayed on the display unit,
を含む、入力処理方法。 Including, input processing method.
JP2009092403A 2009-04-06 2009-04-06 Input device and input processing method Withdrawn JP2010244302A (en)
US12/750,130 US20100253630A1 (en) 2009-04-06 2010-03-30 Input device and an input processing method using the same
JP2010244302A true JP2010244302A (en) 2010-10-28
JP2009092403A Withdrawn JP2010244302A (en) 2009-04-06 2009-04-06 Input device and input processing method
JP2014206924A (en) * 2013-04-15 2014-10-30 トヨタ自動車株式会社 Operation device