Source: https://patents.google.com/patent/JP2010244132A/en
Timestamp: 2018-04-25 20:58:49
Document Index: 74427358

Matched Legal Cases: ['art 2', 'art 3', 'art 2', 'art 3', 'art 4', 'art 5', 'art 4', 'art 3', 'art 6', 'art 5', 'art 7']

JP2010244132A - User interface device with touch panel, method and program for controlling user interface - Google Patents
User interface device with touch panel, method and program for controlling user interface
JP2010244132A
JP2010244132A JP2009089344A JP2009089344A JP2010244132A JP 2010244132 A JP2010244132 A JP 2010244132A JP 2009089344 A JP2009089344 A JP 2009089344A JP 2009089344 A JP2009089344 A JP 2009089344A JP 2010244132 A JP2010244132 A JP 2010244132A
JP2009089344A
祐一 岡野
浩之 鷲野
PROBLEM TO BE SOLVED: To improve operability of a function corresponding to an touch operation, in a user interface device having a touch panel.
SOLUTION: An object approach detection part 2 decides an approach state of an object to the touch panel 1 by use of a detection signal output from the touch panel 1. A finger/palm distinction part 3 distinguishes whether the object is a finger or a palm of a user when it is decided in the object approach detection part 2 that the object approaches, and outputs a distinction result. When it is distinguished in the finger/palm distinction part 3 that the object having approached is the finger, a coordinate detection part 4 detects approach position coordinates on the touch panel 1 of the approaching finger. An application selection part 5 selects an application to be executed based on the approach position coordinates of the coordinate detection part 4 and a distinction result of the finger/palm distinction part 3. A display part 6 performs proper screen display correspondingly to the application selected by the application selection part 5.
本発明は、静電タッチパネルへの指または掌の近接を判別して実行するアプリケーションを切り替えるユーザインタフェース装置、その制御方法および制御プログラムに関するものである。 The present invention includes a user interface device to switch the application to be executed to determine the finger or palm of the proximity to the electrostatic touch panel, to a control method therefor and a control program.
近年、携帯電話やデジタルカメラをはじめとする情報処理端末に搭載されるコンテンツや機能は増加の一途をたどり、コンテンツを閲覧する場合または機能を操作する場合に、ユーザの操作が複雑化してきている。 Recently, onboard content and functionality are the information processing terminal such as mobile phones and digital cameras continues to increase, when operating or if function browsing contents, user's operation has been complicated . そこで、複雑なコンテンツや機能を簡単に、また直感的に操作可能なユーザインタフェースを実現することが課題となっている。 Therefore, simply the complex content and functionality, also be realized intuitively operable user interface has become an issue.
この課題に対して、例えば特許文献１の操作入力装置は、カメラで撮影した画像に基づいてユーザの手の形状および動きの方向を認識し、認識結果に対応した操作を選択したり、操作のための各種パラメータを変更したりしていた。 To solve this problem, for example, the operation input device of Patent Document 1, on the basis of the image photographed by the camera to recognize the direction of the user's hand shape and motion, to select the operation corresponding to the recognition result of the operation for it had been or change various parameters.
また、特許文献２のデータ入力装置は、手または指の部分ごとに異なる掌紋または指紋、その組み合わせを異なるデータに対応付けて格納しておき、掌紋または指紋を読み取ることが可能な画像読み取り手段を手または指の一部に装着して他の指または手の一部を読み取って、対応付けてあるデータに変換して入力を行っていた。 The data input device of Patent Document 2, hand or partial Individually palm print or a fingerprint of the finger may be stored in association with the combination to different data, the image reading means capable of reading the palm pattern or fingerprint reading the part of the other finger or hand attached to a part of the hand or finger, has been performed input is converted into are correlated data.
特開２００１−２１６０６９号公報 JP 2001-216069 JP 特開２０００−２４２４０２号公報 JP 2000-242402 JP
従来のユーザインタフェース装置は以上のように構成されているので、特許文献１，２にはユーザの操作入力を認識するためにタッチパネルを用いることは開示されていなかった。 Since the conventional user interface device is configured as described above, it is not disclosed to use a touch panel to recognize the user's operation in Patent Documents 1 and 2. このため、タッチパネルにユーザの指が近接したのか掌が近接したのかを判別して操作に結び付ける技術、および個人差に大きく依存する指紋および掌紋を用いずに指と掌を判別する技術について何ら開示も示唆もされておらず、タッチパネルを用いて複雑なコンテンツや機能を簡単に、直感的に操作させるユーザインタフェースを十分に実現することはできない課題があった。 Thus, no disclosure about the technology for discriminating fingers and the palm without the use of fingerprints and palm prints depends greatly whether the user's finger has approached the palm whether proximate determined to techniques linked to the operation, and the individual differences in panel also not been well suggested, easily complex content and features using the touch panel, there is a problem that can not be fully realized the user interface for intuitive.
この発明は、上記のような課題を解決するためになされたもので、タッチパネルを有するユーザインタフェース装置において、タッチ操作に対応した機能の操作性を向上させることを目的とする。 The present invention has been made to solve the above problems, the user interface device having a touch panel, and an object thereof is to improve operability of the function corresponding to the touch operation.
この発明に係るタッチパネル付きユーザインタフェース装置は、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出部と、物体近接検出部が近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指／掌判別部と、指／掌判別部が物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出部と、指／掌判別部が判別した結果および座標検出部が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択部と、アプリケーション選択部が選択したアプリケーションに対応した表示を行う表示部とを備えるようにしたものである。 The present invention user interface device with a touch panel according to the uses the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel, when the object proximity detector detects the proximity, the output a finger / palm determination unit object from the value it is determined whether the palm or the finger of the user when the finger / palm determination unit has determined an object between the finger, and a coordinate detection unit that detects the proximity position coordinates on the touch panel of the finger according proximity position coordinates where a finger / result palm determination unit has determined and coordinate detection section detects, as with the application selection unit for selecting an application, and a display unit that performs display corresponding to the application the application selecting unit selects it is obtained by the.
この発明に係るタッチパネル付きユーザインタフェース装置のユーザインタフェース制御方法は、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出ステップと、物体近接検出ステップで近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指／掌判別ステップと、指／掌判別ステップで物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出ステップと、指／掌判別ステップで判別した結果および座標検出ステップで検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択ステップと、アプリケーション選択ステップで選択したアプリケーションに対応した表示を行う表示ステップとを備えるようにしたも User interface control method for a touch panel with a user interface device according to the present invention, by using the output value of the touch panel, detects the object proximity detection step of detecting the proximity of an object to the touch panel, the proximity state object proximity detection step when a finger / palm determination step of the object from the output value to determine whether the palm or the finger of the user, when an object with a finger / palm determination step has determined that the finger, detects a proximity position coordinates on the touch panel of the finger a coordinate detection step of, in accordance with the proximity position coordinates detected by the result determined by the finger / palm determining step and the coordinate detection step, the display of performing the application selection step of selecting an application, the display corresponding to the application selected in the application selection step It was also to include a step である。 It is.
この発明に係るタッチパネル付きユーザインタフェース装置のユーザインタフェース制御プログラムは、コンピュータを、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出手段と、物体近接検出手段が近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指／掌判別手段と、指／掌判別手段が物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出手段と、指／掌判別手段が判別した結果および座標検出手段が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択手段と、アプリケーション選択手段が選択したアプリケーションに対応した表示を行う表示手段として機能させるようにしたものである。 User interface control program with a touch panel user interface device according to the invention, the computer, using the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel, the object proximity detector close when detecting the state, and the finger / palm discriminating means an object from the output value to determine whether the palm or the finger of the user when the finger / palm determination means has determined an object between the finger, the proximity position in the touch panel of the finger coordinate detecting means for detecting coordinates, according to the proximity position coordinates result finger / palm determination means has determined and coordinate detection means detects the application selection means for selecting an application, display corresponding to the application the application selection means selects it is obtained so as to function as a display means for performing.
この発明によれば、タッチパネルの出力値から近接物体が指か掌かを判別してアプリケーションを選択するようにしたので、通常の指によるタッチ操作に加えて掌による操作も可能となり、タッチ操作に対応した機能の操作性を向上させることができる。 According to the present invention, the proximity object from the output value of the touch panel was made to select an application to determine whether the finger or palm, operation by the palm, in addition to a touch operation by normal finger becomes possible, on the touch operation it is possible to improve the operability of the corresponding function. また、掌による操作に特定のアプリケーションを対応付けておくことにより、表示画面からこのアプリケーション実行用ボタンを削除でき、画面を簡略化させることができる。 Further, by previously associating a specific application to an operation by the palm, can remove buttons for the application execution from the display screen, it is possible to simplify the screen.
この発明の実施の形態１に係るユーザインタフェース装置の構成を示すブロック図である。 Is a block diagram showing a configuration of a user interface device according to the first embodiment of the present invention. 実施の形態１に係るユーザインタフェース装置の動作を示すフローチャートである。 Is a flowchart showing the operation of the user interface device according to the first embodiment. 図１に示すタッチパネルの構成を示す模式図である。 It is a schematic diagram showing a configuration of a touch panel shown in FIG. 図１に示す物体近接検出部がタッチパネルと物体の距離を検出する方法を示す説明図であり、タッチパネルと物体が近接した状態を図４（Ａ）に示し、接触した状態を図４（Ｂ）に示す。 Is an explanatory view object proximity detector shown in FIG. 1 shows a method of detecting the distance of the touch panel and the object, a state in which the touch panel and the object is close shown in FIG. 4 (A), FIG contact state 4 (B) to show. 図１に示す指／掌判別部がタッチパネルに指が近接したことを判別する方法を説明する図であり、タッチパネルと指が近接した状態を図５（Ａ）に示し、この状態の静電容量のグラフを図５（Ｂ）に示す。 Finger / palm determination unit shown in FIG. 1 is a diagram for explaining how to determine that the finger is approaching the touch panel, a state where the touch panel and the finger is close shown in FIG. 5 (A), the electrostatic capacity of the state of the graph shown in FIG. 5 (B). 図１に示す指／掌判別部がタッチパネルに掌が近接したことを判別する方法を説明する図であり、タッチパネルと掌が近接した状態を図６（Ａ）に示し、この状態の静電容量のグラフを図６（Ｂ）に示す。 Finger / palm determination unit shown in FIG. 1 is a diagram for explaining how to determine that the palm is close to the touch panel, a state where the touch panel and the palm proximate shown in FIG. 6 (A), the electrostatic capacity of the state of the graph shown in FIG. 6 (B). 図１に示すアプリケーション選択部が選択したアプリケーションの説明図であり、指が近接した場合のアプリケーションの例を図７（Ａ）に示し、掌が近接した場合の例を図７（Ｂ）に示す。 Is an explanatory view of an application by the application selecting section has selected as shown in FIG. 1, an example of an application where the finger is close shown in FIG. 7 (A), shows an example in which the palm is close to Fig 7 (B) . この発明の実施の形態２に係るユーザインタフェース装置の構成を示すブロック図である。 It is a block diagram showing a configuration of a user interface device according to a second embodiment of the present invention. 実施の形態２に係るユーザインタフェース装置の動作を示すフローチャートである。 Is a flowchart showing the operation of the user interface device according to the second embodiment. 図８に示すメモリが保存しているセンサ電極の位置座標の情報の構造を示す説明図である。 Memory shown in FIG. 8 is an explanatory view showing a structure of information on the position coordinates of sensor electrodes that are stored. タッチパネルに近接した掌の掌ジェスチャに応じた、メモリに保存されるセンサ電極の状態の例を示す説明図である。 Corresponding to the palm gesture palm close to the touch panel is an explanatory diagram showing an example of a state of the sensor electrode to be stored in the memory. 図８に示すアプリケーション選択部が選択したプリケーションの説明図であり、指ジェスチャによる操作の場合のアプリケーションの例を図１２（Ａ）に示し、掌ジェスチャによる操作の場合のアプリケーションの例を図１２（Ｂ）に示す。 Is an explanatory view of application to the application selecting unit selects shown in FIG. 8, an example of an application in the case of operation with the finger gesture shown in FIG. 12 (A), FIG an example of an application in the case of operation by the palm gesture 12 It is shown in (B).
図１は、この発明の実施の形態１に係るユーザインタフェース装置の構成を示すブロック図である。 Figure 1 is a block diagram showing a configuration of a user interface device according to the first embodiment of the present invention. 図１に示すように、実施の形態１によるユーザインタフェース装置は、タッチパネル１、物体近接検出部２、指／掌判別部３、座標検出部４、アプリケーション選択部５、表示部６および制御部７から構成される。 As shown in FIG. 1, the user interface device according to the first embodiment, the touch panel 1, the object proximity detector 2, the finger / palm determination unit 3, the coordinate detection unit 4, the application selecting section 5, a display unit 6 and the control section 7 It consists of.
タッチパネル１は、ユーザの指または掌等、物体による入力を検知し、検知信号を物体近接検出部２へ出力する。 The touch panel 1, a finger or palm of the user or the like, detects an input by the object, and outputs a detection signal to the object proximity detector 2. 物体近接検出部２は、タッチパネル１から出力される検知信号を用いて、物体のタッチパネル１への近接状態を判定する。 Object proximity detector 2 by using the detection signal output from the touch panel 1, determines proximity to the touch panel 1 of the object. 指／掌判別部３は、物体近接検出部２において物体が近接したと判定された場合に、その物体が指であるか掌であるかを判別し、判別結果を出力する。 Finger / palm identification portion 3, when it is determined that the object in the object proximity detector 2 are close, the object is to determine a palm or a finger, and outputs the determination result. 座標検出部４は、指／掌判別部３において近接した物体が指であると判別された場合に、近接している指のタッチパネル１上の近接位置座標を検出する。 Coordinate detection unit 4, when an object in close proximity in the finger / palm identification portion 3 is determined to be a finger, it detects the proximity position coordinates on the touch panel 1 of the finger approaching. アプリケーション選択部５は、指／掌判別部３の判別結果および座標検出部４の近接位置座標に基づいて、実行するアプリケーションを選択する。 Application selection unit 5, based on the proximity position coordinates of the determination result of the finger / palm determination unit 3 and the coordinate detection unit 4, selects the application to run. 表示部６は、アプリケーション選択部５によって選択されたアプリケーションに対応して適切な画面表示を行う。 The display unit 6, performs the appropriate screen display corresponding to the application selected by the application selection unit 5. 制御部７は全体の動作を制御する。 Control unit 7 controls the entire operation.
次に、実施の形態１によるユーザインタフェース装置の動作を説明する。 Next, the operation of the user interface device according to the first embodiment. 図２は、実施の形態１に係るユーザインタフェース装置の動作を示すフローチャートである。 Figure 2 is a flowchart showing the operation of the user interface device according to the first embodiment.
先ず、物体近接検出部２が、タッチパネル１への物体の近接があったか否かを判定し（ステップＳＴ１）、物体の近接が検知されるまでステップＳＴ１の動作を行う。 First, the object proximity detector 2 determines whether there is proximity of the object to the touch panel 1 (step ST1), performs the operation of steps ST1 to proximity of an object is detected.
図３は、タッチパネル１の構成を示す模式図である。 Figure 3 is a schematic diagram showing the configuration of the touch panel 1. 本実施の形態では、タッチパネル１として、物体１０とタッチパネル１との間の微弱な静電容量の変化を検出することで物体１０のタッチパネル１への近接（および接触）を検出する静電容量方式の投射容量型タッチパネルを用いる。 In this embodiment, the touch panel 1, an electrostatic capacitance type for detecting the proximity to the touch panel 1 of the object 10 and the object 10 by detecting a change in the weak capacitance between the touch panel 1 (and contact) using the projection capacitance type touch panel. この他、タッチパネル１として静電容量方式の表面容量型タッチパネルを用いて、静電容量の変化量に従って物体１０のタッチパネル１への近接を検出するようにしてもよい。 In addition, by using a surface capacitive type capacitive touch panel as the touch panel 1, it may be detected proximity to the touch panel 1 of the object 10 in accordance with the amount of change in the capacitance.
投射容量型のタッチパネル１は、図３に示すように、ｘ方向の座標値を検出するためにｙ方向と平行に配置された複数のｘ方向センサ電極１１と、ｙ方向の座標値を検出するためにｘ方向と平行に配置された複数のｙ方向センサ電極１２とから構成される。 The touch panel 1 of the projection capacitance type, as shown in FIG. 3, for detecting a plurality of x-direction sensor electrodes 11 arranged parallel to the y-direction in order to detect the coordinate value of the x-direction, the coordinate value of the y-direction composed of a plurality of y-direction sensor electrodes 12 that are parallel to the x direction in order. 物体近接検出部２はこれらセンサ電極１１，１２が出力する検知信号に基づいて、タッチパネル１へ物体１０が近接または接触した場合に、ｘ方向センサ電極１１およびｙ方向センサ電極１２のうち、ｘ，ｙ方向それぞれどのセンサ電極が反応しているかを検出することで、物体１０のタッチパネル１上におけるｘ，ｙ方向の位置（以下、それぞれｘ座標、ｙ座標と呼ぶ）を検出することができる。 Object proximity detector 2 based on the detection signals of these sensor electrodes 11 and 12 outputs, when the object 10 to the touch panel 1 is close to or in contact, of the x-direction sensor electrodes 11 and the y-direction sensor electrodes 12, x, by which sensor electrodes y directions respectively detects whether a reaction can be detected x on the touch panel 1 of the object 10, the position in the y direction (hereinafter, x-coordinate, respectively, referred to as a y-coordinate).
図４は、物体近接検出部２がタッチパネル１と物体１０の距離を検出する方法を示す説明図であり、タッチパネル１と物体１０の間の静電容量の変化量と距離との関係を示すグラフである。 Figure 4 is an explanatory view showing a method of an object proximity detector 2 detects the distance between the touch panel 1 and the object 10, the graph showing the relationship between the change amount and the distance of the capacitance between the touch panel 1 and the object 10 it is. グラフに示すように、タッチパネル１と物体１０との距離が近くなるにつれて、タッチパネル１と物体１０の間の静電容量が大きくなる。 As shown in the graph, as the distance between the touch panel 1 and the object 10 becomes closer, the electrostatic capacitance between the touch panel 1 and the object 10 increases.
静電容量の変化の度合いはタッチパネル１と物体１０との距離によって変化するため、物体近接検出部２は、タッチパネル１と物体１０との間の静電容量の変化度合いから、物体１０がタッチパネル１へ近接したか、または接触したかを判定することができる。 Since the degree of change in capacitance that varies with the distance between the touch panel 1 and the object 10, the object proximity detector 2, the change rate of the capacitance between the touch panel 1 and the object 10, the object 10 is the touch panel 1 it is possible to determine whether it has been or contact proximity to. 具体的には、静電容量の変化量が所定の閾値Ｔｈ１以上の場合（領域Ａ）に物体１０がタッチパネル１へ近接したと判定し（図４（Ａ））、閾値Ｔｈ１未満の場合に近接していないと判定する。 Specifically, when the amount of change in the capacitance is not smaller than a predetermined threshold value Th1 object 10 (a region A) is determined to have approached to the touch panel 1 (FIG. 4 (A)), close to the case of less than the threshold value Th1 It determines that to do not. さらに、静電容量の変化量が閾値Ｔｈ２（＞Ｔｈ１）以上の場合（領域Ｂ）には、物体１０がタッチパネル１に接触したと判定することができる（図４（Ｂ））。 Furthermore, if the capacitance variation of the threshold Th2 (> Th1) above is (area B), it is possible to determine that the object 10 has contacted the touch panel 1 (FIG. 4 (B)).
説明を図２に戻す。 Referring back to FIG. 物体近接検出部２において物体のタッチパネル１への近接が検出された場合（ステップＳＴ１“Ｙｅｓ”）、指／掌判別部３が、近接した物体が指であるか掌であるかを判別する（ステップＳＴ２）。 If the object proximity detector 2 is close to the touch panel 1 of an object is detected (step ST1 "Yes"), the finger / palm determination section 3, closely spaced objects to determine whether a palm or a finger ( step ST2).
図５は指／掌判別部３がタッチパネル１に指１０ａが近接したことを判別する方法を説明する図であり、図６は掌１０ｂが近接したことを判別する方法を説明する図である。 Figure 5 is a diagram for explaining how to determine that the finger / palm identification portion 3 adjacent finger 10a is the touch panel 1, FIG. 6 is a diagram for explaining how to determine that the palm 10b are close to each other. 図５（Ａ）に示すようにタッチパネル１に近接した物体が指１０ａである場合、ｘ方向センサ電極１１の静電容量変化の分布は、図５（Ｂ）に示すように最も変化の大きいセンサ電極の値を山として急峻な分布２１になる。 If an object in proximity to the touch panel 1 as shown in FIG. 5 (A) is a finger 10a, the distribution of capacitance change in the x-direction sensor electrodes 11 is larger sensor most changes as shown in FIG. 5 (B) It becomes steep distribution 21 the value of the electrode as a mountain. ｙ方向センサ電極１２の静電容量変化の分布も同様に急峻な分布になる。 Distribution of capacitance change in the y-direction sensor electrode 12 is also similarly steep distribution. 一方、図６（Ａ）に示すようにタッチパネル１に近接した物体が掌１０ｂである場合、ｘ，ｙ方向それぞれのセンサ電極１１，１２の静電容量変化の分布は、図６（Ｂ）に示すようになだらかな分布２２になり、急峻な分布２１のようにはならない。 On the other hand, if the object in proximity to the touch panel 1 as shown in FIG. 6 (A) is a palm 10b, x, the distribution of capacitance change in the y-direction each sensor electrodes 11 and 12, in FIG. 6 (B) It becomes gentle distribution 22 as shown, not as steep distribution 21. ｙ方向センサ電極１２の静電容量変化の分布も同様になだらかな分布になる。 Distribution of capacitance change in the y-direction sensor electrodes 12 also becomes equally smooth distribution. 従って、指／掌判別部３は、静電容量変化の分布の山の急峻さに基づいて、タッチパネル１に近接した物体が指１０ａか掌１０ｂかを判別する。 Accordingly, the finger / palm identification portion 3, based on the steepness of the mountain of the distribution of the electrostatic capacitance changes, the object close to the touch panel 1 is to determine whether the finger 10a or the palm 10b.
なお、指／掌判別部３において、上述した静電容量変化の分布形状を指標に用いず簡易に判別する場合には、各センサ電極の静電容量の変化量２１ａ，２２ａを指標に用いてもよい。 Note that in the finger / palm identification portion 3, when the determination easily without using the distribution shape of the electrostatic capacitance changes described above as an index, using the variation 21a of the electrostatic capacitance of each sensor electrode, and 22a to index it may be. 具体的には、指／掌判別部３が、ｘ方向センサ電極１１のうち所定の閾値Ｔｈ２以上の静電容量変化量になるセンサ電極の数を数え、この本数が閾値ｍ未満の場合に指１０ａがタッチパネル１に近接したと判別し、閾値ｍ以上の場合には掌１０ｂが近接したと判別することで、タッチパネル１に近接した物体が指１０ａか掌１０ｂかを判別する。 Specifically, the finger / palm determination unit 3 counts the number of sensor electrodes consisting variation amount of capacitance equal to or larger than a predetermined threshold Th2 of the x-direction sensor electrodes 11, finger if this number is less than the threshold value m 10a is determined to have approached to the touch panel 1, in the case of more than the threshold value m is by determining the palm 10b are close object close to the touch panel 1 is to determine whether the finger 10a or the palm 10b. 指／掌判別部３は、ｙ方向センサ電極１２についても同様に判別する。 Finger / palm determination unit 3 determines Similarly for the y direction sensor electrode 12.
説明を図２に戻す。 Referring back to FIG. 指／掌判別部３により近接物体が指と判別された場合（ステップＳＴ２“指”）、続くステップＳＴ３にて座標検出部４が指が近接したタッチパネル１上のｘ，ｙ座標を検出する。 If proximity object by the finger / palm identification portion 3 is judged to finger (step ST2 "fingers"), on the touch panel 1 coordinate detection unit 4 are close finger at the subsequent step ST3 of x, to detect the y-coordinate. 座標検出部４による位置座標検出方法は、上記で図３を用いて説明したように、ｘ方向センサ電極１１およびｙ方向センサ電極１２のうち、ｘ，ｙ方向それぞれ最も静電容量変化量の大きいセンサ電極を検出すればよい。 Position coordinate detection method according to the coordinate detecting section 4, as described with reference to FIG. 3 above, among the x-direction sensor electrodes 11 and the y-direction sensor electrodes 12, x, large y directions most variation amount of capacitance it may be detected sensor electrode. このｘ，ｙ座標が近接位置座標である。 The x, the y-coordinate is the proximity position coordinates.
続いて、アプリケーション選択部５が、座標検出部４で検出したｘ，ｙ座標に基づいて実行するアプリケーションを選択する（ステップＳＴ４）。 Subsequently, the application selecting section 5 is, x detected by the coordinate detection unit 4, selects the application to run on the basis of the y-coordinate (step ST4). 表示部６は、アプリケーション選択部５が選択したアプリケーションに対応して、適切な内容の画面表示を行う（ステップＳＴ５）。 The display unit 6, in response to the application of the application selecting section 5 selects, displays a screen of appropriate content (step ST5).
他方、近接物体が掌と判別された場合（ステップＳＴ２“掌”）、続くステップＳＴ４においてアプリケーション選択部５が、近接物体が掌である場合に実行するアプリケーションを選択する。 On the other hand, if the proximity object is judged to be the palm (step ST2 "palm"), the application selecting section 5 in the subsequent step ST4, selects an application to be executed when the proximity object is palm. 表示部６は、アプリケーション選択部５が選択したアプリケーションに対応して、適切な内容の画面表示を行う（ステップＳＴ５）。 The display unit 6, in response to the application of the application selecting section 5 selects, displays a screen of appropriate content (step ST5).
ステップＳＴ４においてアプリケーション選択部５が選択するアプリケーションは、指または掌の操作から連想できるようなアプリケーションであることが望ましい。 Applications application selection unit 5 in step ST4 is selected, it is desirable that an application which can remind the finger or palm of operation. 図７（Ａ）にタッチパネル１への近接が指１０ａの場合に実行するアプリケーションの一例を示し、図７（Ｂ）にタッチパネル１への近接が掌１０ｂの場合に実行するアプリケーションの例を示す。 Proximity to the touch panel 1 in FIG. 7 (A) shows an example of an application to be executed when the finger 10a, showing an example of an application proximity to the touch panel 1 in FIG. 7 (B) is executed when the palm 10b. なお、タッチパネル１は表示部６の前面に取り付けられて一体となっているものとし、座標検出部４が検出したｘ，ｙ座標を、表示部６の表示領域中の位置座標として用いる。 The touch panel 1 is assumed to become integrally attached to the front surface of the display unit 6, x the coordinate detection unit 4 detects the y-coordinate is used as the position coordinates in the display area of ​​the display unit 6. 近接した物体が指１０ａである場合には、アプリケーション選択部５が、図７（Ａ）のように指１０ａの位置座標に対応する画面位置に表示されている意味のある表示領域の一部（例えば、１つのアイコン等）を選択するアプリケーションを選択する。 When proximate object is a finger 10a, the application selecting section 5 is, FIG. 7 (A) part of the display region of the meanings that are displayed on the screen position corresponding to the position coordinates of the finger 10a, as ( for example, to select an application for selecting such one icon). 他方、近接した物体が掌１０ｂである場合には、アプリケーション選択部５が、図７（Ｂ）のように表示領域全体（例えば、全てのアイコン等）を選択するアプリケーションを選択する。 On the other hand, when the proximate object is a palm 10b, the application selecting section 5 selects an application that selects the entire display area as shown in FIG. 7 (B) (for example, all the icons and the like). 図７に示すように指＝一部、掌＝全体というメタファに則ってアプリケーション選択部５が選択するアプリケーションを指、掌の操作に関連付けておくことで、ユーザが直感的に操作可能なユーザインタフェースを実現することができる。 Finger = part 7, by leaving associate the application by the application selecting section 5 in accordance with the metaphor palm = overall selects finger, the palm of the operation, the user can intuitively operable user interface it can be realized.
アプリケーション選択部５は、上記以外にも例えば、表示部６に複数ページ有するドキュメントの閲覧画面が表示されているとき、近接した物体が指１０ａである場合には１ページ戻る／進むアプリケーションを選択し、近接した物体が掌１０ｂである場合には全ページ戻る／進むアプリケーションを選択するようにしてもよい。 Application selection unit 5, for example, in addition to the above, when the viewing screen of the document having multiple pages on the display unit 6 is displayed, select 1 Back / Forward application when proximate object is a finger 10a , may be selected all pages Back / Forward application when proximate object is a palm 10b.
また、掌による操作に、ユーザインタフェース装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを対応付ければ、アプリケーション選択部５は、近接した物体が指１０ａである場合には通常のアプリケーションを選択し、近接した物体が掌１０ｂである場合には電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択することもできる。 Moreover, the operation by the palm, if Taiozukere the application to control the on / off switching of the power switch of the user interface device, the application selecting section 5, when proximate object is a finger 10a selects the normal application , it is also possible to select an application for controlling the on / off switching of the power switch when proximate object is a palm 10b.
このように、掌による操作に特定のボタンのアプリケーションを対応付けておけば、表示画面内のボタン数を削減することができ、表示画面を簡略化することができる。 Thus, if in association with application of a specific button on the operation by the palm, it is possible to reduce the number of buttons in the display screen, it is possible to simplify the display screen.
以上のように、実施の形態１によれば、タッチパネル１への物体の近接状態を検知する物体近接検出部２、および物体がタッチパネル１に近接したと判別された場合に物体がユーザの指であるか掌であるかを判別する指／掌判別部３に加えて、指が近接したのか掌が近接したのかによって実行するアプリケーションを選択するアプリケーション選択部５を備えるように構成した。 As described above, according to the first embodiment, the object proximity detector 2 for detecting the proximity of an object to the touch panel 1, and the object is a finger object of the user when it is determined to have approached to the touch panel 1 in addition to the finger / palm identification portion 3 for determining whether a palm there was configured with an application selecting section 5 selects an application to be executed depending on whether that or palm finger has approached close. このため、通常の指によるタッチ操作に加えて、掌による操作も可能となり、タッチパネル１に対応した機能に対する操作性を向上させることができる。 Therefore, in addition to a touch operation by normal finger operation by the palm also it becomes possible, thereby improving the operability for the function corresponding to the touch panel 1. また、掌による操作に特定のアプリケーションを対応付けておくことにより、表示画面からこのアプリケーション実行用ボタンを削除でき、画面を簡略化させることもできる。 Further, by previously associating a specific application to an operation by the palm, can remove buttons for the application execution from the display screen, it is also possible to simplify the screen.
上記実施の形態１のユーザインタフェース装置では、物体がタッチパネル１へ近接したことを検知し、さらに、近接した物体がユーザの指であるか掌であるかを判別し、判別結果によって実行するアプリケーションを切り替えることで、通常のタッチ操作に加えて掌による操作を実現した。 The user interface device of the first embodiment, the object detects that it has close to the touch panel 1, further, the application proximate object to determine a palm or a user's finger, is executed by the determination result by switching, we realized an operation by the palm in addition to the normal touch operation. 本実施の形態２では、タッチパネル１に掌が近接したと判別した場合に、掌の動きの方向を認識することによってさらに操作性を向上させたユーザインタフェースを実現する。 In the second embodiment, when it is determined that the palm on the touch panel 1 is close, to realize the user interface further improves the operability by recognizing the orientation of the palm action. ここで、ユーザがタッチパネル１に近接させた掌を動かして操作することを掌ジェスチャと呼び、ユーザインタフェース装置がこの掌の動きを認識することを掌ジェスチャ認識と呼ぶ。 Here, the user is referred to as palm gestures to manipulate by moving the palm is brought close to the touch panel 1, the user interface device is referred to as a palm gesture recognition to recognize the movement of the palm. 実施の形態２では、掌ジェスチャを利用する構成のユーザインタフェース装置について述べる。 In the second embodiment describes the user interface device configuration utilizing palm gesture.
図８は、この発明の実施の形態２に係るユーザインタフェース装置の構成を示すブロック図であり、図１と同一または相当の部分については同一の符号を付す。 Figure 8 is a block diagram showing a configuration of a user interface device according to the second embodiment of the present invention are denoted by the same reference numerals same or corresponding portions as in FIG. 1. 実施の形態２のユーザインタフェース装置は、上記実施の形態１のユーザインタフェース装置の座標検出部４の後段に、掌ジェスチャを認識する掌ジェスチャ認識部８および掌ジェスチャを認識するための情報を保存しておくメモリ９を追加した点のみが異なる。 The user interface device of the second embodiment, the subsequent stage of the coordinate detecting portion 4 of the user interface device of the first embodiment, stores the information for recognizing the palm gesture recognition unit 8 and palm gesture recognizing palm gestures and keep the point you add a memory 9 only is different. 従って、実施の形態２の説明は実施の形態１と異なる内容のみにとどめ、重複する内容については省略する。 Therefore, omitted for the contents of the description of the second embodiment kept only the different content in the first embodiment, duplicate.
次に、実施の形態２によるユーザインタフェース装置の動作を説明する。 Next, the operation of the user interface device according to the second embodiment. 図９は、実施の形態２に係るユーザインタフェース装置の動作を示すフローチャートである。 Figure 9 is a flowchart showing the operation of the user interface device according to the second embodiment. 図９に示すステップＳＴ１〜ステップＳＴ３の各動作は、図２のステップＳＴ１〜ステップＳＴ３の各動作と同一であるため、説明を省略する。 Each operation step ST1~ step ST3 shown in FIG. 9 are the same as the operations of steps ST1~ step ST3 in FIG. 2, the description thereof is omitted.
なお、ステップＳＴ１において、物体近接検出部２が、タッチパネル１への物体の近接を検知しない場合は（ステップＳＴ１“Ｎｏ”）、ステップＳＴ６にて掌ジェスチャ認識部８がメモリ９の保存する情報を全てクリアする。 Note that, in step ST1, the object proximity detector 2, if not detected proximity of an object to the touch panel 1 information (step ST1 "No"), palm gesture recognition unit 8 at step ST6 is stored in the memory 9 all clear.
指／掌判別部３によって近接物体が掌と判別された場合（ステップＳＴ２“掌”）、指／掌判別部３が判別の際に用いた、ｘ，ｙ方向それぞれ所定の閾値Ｔｈ２以上の静電容量の変化量だったセンサ電極のインデックスを、掌ジェスチャ認識部８がメモリ９に保存する（ステップＳＴ７）。 If the proximity object by the finger / palm determination unit 3 is determined as the palm (step ST2 "palm"), the finger / palm determination unit 3 is used during the determination, x, y directions, respectively predetermined threshold Th2 or more static the index of the sensor electrode was the amount of change in capacitance, palm gesture recognition unit 8 is stored in the memory 9 (step ST7). タッチパネル１に近接した状態で掌ジェスチャが行われれば、掌ジェスチャ中の各時刻のセンサ電極の状態がメモリ９に保存されていく。 If palm gesture performed in close proximity to the touch panel 1, the state of the sensor electrode at each time in the palm gesture it is gradually stored in the memory 9. そして、掌ジェスチャ認識部８がメモリ９の情報を利用して、タッチパネル１上に近接した掌１０ｂがどのように動いたか、即ち掌ジェスチャを認識する（ステップＳＴ８）。 The palm gesture recognition unit 8 by using the information in the memory 9, or palm 10b close on the touch panel 1 is how moving, i.e. recognizing a palm gesture (step ST8).
図１０は、メモリ９が保存しているセンサ電極の位置座標の情報の構造を示す説明図である。 Figure 10 is an explanatory diagram showing the structure of the information of the position coordinates of sensor electrodes memory 9 is stored. 図１０に示すように、メモリ９には、掌がタッチパネル１に近接した状態となったｔ−ｎ時刻前から最新の時刻ｔまでのセンサ電極の状態が、全てまたは一部保存されている。 As shown in FIG. 10, the memory 9, the palm is state of the sensor electrode from the front t-n time when a state close to the touch panel 1 to the latest time t, are stored all or in part. ｘ ｉは、ｘ方向センサ電極１１のｘ座標原点側からのセンサ番号ｉを示し、ｙ ｊは、ｙ方向センサ電極１２のｙ座標原点側からのセンサ番号ｊを示す。 x i denotes the sensor number i from the x coordinate origin side in the x-direction sensor electrodes 11, y j indicates the sensor number j from the y coordinate origin side in the y-direction sensor electrodes 12. 掌ジェスチャ認識部８は、センサ電極の状態として、所定の閾値Ｔｈ２以上の静電容量の変化量を示したセンサ電極に［１］を付与し、閾値Ｔｈ２未満の静電容量の変化量を示したセンサ電極に［０］を付与して、メモリ９に保存する。 Palm gesture recognition unit 8, as the state of the sensor electrode, grant [1] to the sensor electrode showing the amount of change predetermined threshold Th2 or more capacitance indicates the capacitance variations of less than the threshold value Th2 was to impart [0] to the sensor electrode, it is stored in the memory 9.
図１１は、タッチパネル１に近接した掌１０ｂの掌ジェスチャに応じたセンサ電極の状態の例を示す説明図である。 Figure 11 is an explanatory diagram showing an example of a state of the sensor electrode in accordance with the palm gesture palm 10b close to the touch panel 1. 図１１では、掌１０ｂがｘ方向と平行に動いた場合にメモリ９に保存される２時刻前（図１１（Ａ））、１時刻前（図１１（Ｂ））、および最新（図１１（Ｃ））のｘ方向センサ電極１１の各状態を示す。 In Figure 11, 2 times before palm 10b are stored in the memory 9 when moved parallel to the x-direction (FIG. 11 (A)), 1 time before (FIG. 11 (B)), and the latest (FIG. 11 ( indicating the respective states of the x-direction sensor electrodes 11 C)). 例えば図１１（Ａ）においてセンサ番号ｉ＝１２およびｔ＝２のセンサ電極の状態ｘ １ （２），ｘ ２ （２），・・・，ｘ １２ （２）は［１，１，１，１，１，１，１，１，０，０，０，０］であり、掌１０ｂの移動と共に、静電容量の変化量の大きい（即ちセンサ電極の状態［１］）センサ電極がｘ方向に移り変わって、最新ｔ＝０のセンサ電極の状態ｘ １ （０），ｘ ２ （０），・・・，ｘ １２ （０）は［０，０，０，０，１，１，１，１，１，１，１，１］となる。 For example Figure 11 states x 1 (2) of sensor number i = 12 and t = 2 of the sensor electrode in (A), x 2 (2 ), ···, x 12 (2) is [1,1,1, 1,1,1,1,1,0,0,0,0], and with the movement of the palm 10b, the change amount of the electrostatic capacitance larger (i.e. the state of the sensor electrode [1]) sensor electrode x-direction to be Utsurikawa' state x 1 (0) of the sensor electrode of the latest t = 0, x 2 (0 ), ···, x 12 (0) is [0,0,0,0,1,1,1, 1,1,1,1,1] become. 従って、掌ジェスチャ認識部８は、静電容量の変化量の大きいセンサ電極の状態の移り変わりを利用すれば、掌１０ｂがｘ方向に移動したことを認識できる。 Therefore, palm gesture recognition unit 8, by using the transition of the state of the large sensor electrode of the amount of change in capacitance, can recognize that the palm 10b is moved in the x direction. 掌ジェスチャ認識部８は、この掌ジェスチャ認識処理をｘ方向センサ電極１１およびｙ方向センサ電極１２について行い、タッチパネル１上に近接した掌１０ｂがどのように動いたか認識する。 Palm gesture recognition unit 8 performs the palm gesture recognition processing for the x-direction sensor electrodes 11 and the y-direction sensor electrodes 12, palm 10b close on the touch panel 1 recognizes how moved.
なお、ステップＳＴ６において、物体が近接していないと判別された場合にメモリ９の内容が全てクリアされているため、連続して近接している状態のみのセンサ電極の状態をメモリ９に保存しておくことができる。 Note that, in step ST6, and stored for the contents of the memory 9 when the object is determined not close is all cleared, the state of the sensor electrode only state are close in succession in the memory 9 it can be kept.
説明を図９に戻す。 Referring back to FIG. ステップＳＴ４において、アプリケーション選択部５は、指／掌判別部３の判別結果から近接物体が指の場合には座標検出部４で検出したｘ，ｙ座標に基づいて、一方、近接物体が掌の場合には掌ジェスチャ認識部８の掌ジェスチャ認識の結果に基づいて、実行するアプリケーションを選択する。 In step ST4, the application selecting section 5, x is from proximity object from the determination result of the finger / palm discriminating section 3 detected by the coordinate detection unit 4 in the case of the finger, based on the y-coordinate, while the proximity object palm If based on the results of the palm gesture recognition palm gesture recognition unit 8, selects the application to run. 表示部６が、アプリケーション選択部５が選択したアプリケーションに対応して、適切な内容の画面表示を行う（ステップＳＴ５）。 Display unit 6, in response to the application of the application selecting section 5 selects, displays a screen of appropriate content (step ST5).
なお、近接物体が指の場合、指のｘ，ｙ座標の時間変化を利用することで、指のジェスチャについても認識することができる。 Note that when the proximity object is a finger, by using the time variation of the finger x, y-coordinate, can also recognize the gestures of a finger. 例えば、ユーザインタフェース装置が指ジェスチャ認識部とメモリを備え、近接物体が指と判別された場合に座標検出部４が検出した各時刻のｘ，ｙ座標をメモリに保存して、指ジェスチャ認識部がｘ，ｙ座標の時間変化に基づいて指の移動を認識する構成にすればよい。 For example, a user interface device a finger gesture recognition unit and a memory, x at each time coordinate detection unit 4 detects when the proximity object is determined to finger, to save the y coordinate in the memory, the finger gesture recognition unit but x, may be set to recognize configure movement of the finger based on the time variation of the y-coordinate.
ステップＳＴ４においてアプリケーション選択部５が選択するアプリケーションは、指ジェスチャまたは掌ジェスチャの操作から連想できるようなアプリケーションであることが望ましい。 Applications Applications selecting unit 5 selects in step ST4, it is desirable that an application which can remind the operator's finger gesture or palm gesture. 図１２（Ａ）に指ジェスチャによる操作の場合に実行するアプリケーションの例を示し、図１２（Ｂ）に掌ジェスチャによる操作の場合に実行するアプリケーションの例を示す。 Figure 12 shows an example of an application in (A) is executed when the operation with the finger gesture, an example of an application to be executed when operation by the palm gesture FIG 12 (B). なお、タッチパネル１は表示部６の前面に取り付けられて一体となっているものとし、座標検出部４が検出したｘ，ｙ座標を、表示部６の表示領域中の位置座標として用いる。 The touch panel 1 is assumed to become integrally attached to the front surface of the display unit 6, x the coordinate detection unit 4 detects the y-coordinate is used as the position coordinates in the display area of ​​the display unit 6. 近接した物体が指１０ａであり、かつ、ｘ方向に移動する指ジェスチャの場合には、アプリケーション選択部５が、図１２（Ａ）のように複数ページ有するドキュメントの閲覧画面のページを１ページ戻る／進むアプリケーションを選択して、指ジェスチャの移動方向に応じたページめくりを実行する。 Proximate object is a finger 10a, and when a finger gesture to move in the x direction, the application selecting section 5 is, returns a page to the page of the viewing screen of a document having multiple pages as shown in FIG. 12 (A) / Forward select the application to perform page turning corresponding to the moving direction of the finger gesture. 他方、近接した物体が掌１０ｂであり、かつ、ｘ方向に移動する掌ジェスチャの場合には、アプリケーション選択部５が、図１２（Ｂ）のように全ページ戻る／進むアプリケーションを選択して、掌ジェスチャの移動方向に応じたページめくりを実行する。 On the other hand, proximity to the object is the palm 10b, and, in the case of palm gesture moving in the x direction, the application selecting section 5 selects all pages Back / Forward applications like FIG. 12 (B), the to perform the page turning according to the moving direction of the palm gesture. 図１２に示すように指＝一部、掌＝全体というメタファに則ってアプリケーション選択部５が選択するアプリケーションを指ジェスチャ、掌ジェスチャに関連付けておくことで、ユーザが直感的に操作可能なユーザインタフェースを実現することができる。 Finger = part as shown in FIG. 12, by leaving associate the application by the application selecting section 5 in accordance with the metaphor palm = overall selects finger gesture, the palm gesture, the user intuitively operable user interface it can be realized.
アプリケーション選択部５は、上記以外にも例えば、指ジェスチャである場合には通常のアプリケーションを選択し、掌ジェスチャの場合にはユーザインタフェース装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択するようにしてもよい。 Application selection unit 5, for example, in addition to the above, when a finger gesture selects a normal application, select an application that controls the on / off switching of the power switch of the user interface device in the case of palm gesture it may be so. また、表示部６に複数の意味のある表示領域（例えばアイコン）が画面表示されているとき、アプリケーション選択部５は、指ジェスチャである場合には近接した位置座標の表示領域（１つのアイコン）を選択するアプリケーションを選択し、掌ジェスチャである場合には表示領域全体（全てのアイコン）を選択するアプリケーションを選択するようにしてもよい。 Further, the display area with multiple meanings on the display unit 6 (e.g., icon) when is displayed on the screen, the application selecting section 5, the display region coordinates close if a finger gesture (one icon) select the application to select, you may be selected an application to select an entire display area (all icons) in the case of palm gesture. さらに、掌ジェスチャ認識部８が掌の移動方向に加えて移動速度も認識するようにして（同様に指ジェスチャ認識部も指の移動速度を認識するようにして）、アプリケーション選択部５が移動の方向および速度に応じてアプリケーションを選択してもよい。 Furthermore, palm gesture recognition unit 8 moving speed in addition to the moving direction of the palm be recognized (as finger gesture recognition unit be aware of the movement speed of the finger), the application selecting section 5 of the mobile You may select an application in accordance with the direction and speed.
このように、掌ジェスチャによる操作に特定のボタンのアプリケーションを対応付けておけば、表示画面内のボタン数を削減することができ、表示画面を簡略化することができる。 Thus, if in association with application of a specific button on the operation by the palm gesture, it is possible to reduce the number of buttons in the display screen, it is possible to simplify the display screen.
以上のように、実施の形態２によれば、指／掌判別部３においてタッチパネル１への近接物体が掌であると判別された場合に、タッチパネル１の出力値を用いて掌の動きを認識する掌ジェスチャ認識部８を備えるようにした。 As described above, according to the second embodiment, when the finger / palm determination unit 3 is proximity object to the touch panel 1 is determined to be the palm, recognizing the palm action using the output value of the touch panel 1 and to include the palm gesture recognition unit 8. このため、掌の近接を利用する上記実施の形態１のユーザインタフェースだけでなく、掌の動きを利用したユーザインタフェースを実現することができる。 Therefore, not only the above-described user interface according to the first to use the palm of the proximity, it is possible to realize a user interface using the palm action.
なお、上記実施の形態１，２のユーザインタフェース装置を、タッチパネル１および表示部６を有するコンピュータで構成する場合、指／掌判別部３、座標検出部４、アプリケーション選択部５、制御部７、掌ジェスチャ認識部８の処理内容を記述しているプログラムをコンピュータの内部メモリに格納し、コンピュータのＣＰＵが内部メモリに格納されているプログラムを実行するようにしてもよい。 Note that the user interface device in the first and second embodiments, when configuring a computer having a touch panel 1 and the display unit 6, the finger / palm determination unit 3, the coordinate detection unit 4, the application selecting section 5, the control unit 7, storing a program describing the processing contents of the palm gesture recognition unit 8 in the internal memory of a computer, it may be the CPU of the computer executes the program stored in the internal memory.
また、上記実施の形態１，２のユーザインタフェース装置によれば、ユーザがタッチパネル１に触れることなく操作可能となるため、パネルの消耗が少なく、超寿命化の一助になる。 Further, according to the user interface device in the first and second embodiments, since the user is operable without touching the touch panel 1, consumption of the panel is small, the help of the super life.
１ タッチパネル、２ 物体近接検出部、３ 指／掌判別部、４ 座標検出部、５ アプリケーション選択部、６ 表示部、７ 制御部、８ 掌ジェスチャ認識部、９ メモリ、１０ 物体、１０ａ 指、１０ｂ 掌、１１ ｘ方向センサ電極、１２ ｙ方向センサ電極、２１，２２ 静電容量変化の分布形状、２１ａ，２２ａ 静電容量の変化量。 1 touch panel, two objects approach detection unit, 3 finger / palm determination section, 4-coordinate detecting unit, 5 application selection section, 6 a display unit, 7 controller, 8 palm gesture recognition unit, 9 a memory, 10 an object, 10a fingers, 10b palm, 11 x-direction sensor electrodes, 12 y direction sensor electrodes, the distribution shape of the 21 capacitance change, 21a, variation in 22a capacitance.
タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出部と、 Using the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel,
前記物体近接検出部が近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指／掌判別部と、 When the object proximity detector detects the proximity state, the finger / palm discriminator which the object from the output value to determine whether the palm or the finger of the user,
前記指／掌判別部が前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出部と、 When the finger / palm discriminator is the object determines that the finger, and a coordinate detection unit that detects the proximity position coordinates in the touch panel of the finger,
前記指／掌判別部が判別した結果および前記座標検出部が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択部と、 According proximity position coordinates the finger / palm determination unit detects that the result and the coordinate detection unit determines the application selection unit for selecting an application,
前記アプリケーション選択部が選択したアプリケーションに対応した表示を行う表示部とを備えたタッチパネル付きユーザインタフェース装置。 User interface device with a touch panel that includes a display unit that performs display corresponding to the application the application selecting section has selected.
タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識部を備え、 From the output value of the touch panel, comprising a recognizing the gesture recognition unit a finger or palm movement of proximity state,
アプリケーション選択部は、指／掌判別部が判別した結果および座標検出部が検出した近接位置座標に加え、前記ジェスチャ認識部が認識した結果に従って、アプリケーションを選択することを特徴とする請求項１記載のタッチパネル付きユーザインタフェース装置。 Application selection section, in addition to the proximity position coordinates where a finger / Result palm determination unit has determined and coordinate detection section detects, in accordance with a result of the gesture recognition unit recognizes, according to claim 1, wherein selecting the application with a touch panel user interface device.
タッチパネル付きユーザインタフェース装置のユーザインタフェース制御方法であって、 A user interface method for controlling a user interface device with a touch panel,
タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出ステップと、 Using the output value of the touch panel, the object proximity detection step of detecting the proximity of an object to the touch panel,
前記物体近接検出ステップで近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指／掌判別ステップと、 When detecting proximity by the object proximity detection step, and the finger / palm determination step of the object from the output value to determine whether the palm or the finger of the user,
前記指／掌判別ステップで前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出ステップと、 If it is determined the object the finger by the finger / palm determination step, a coordinate detection step of detecting the proximity position coordinates in the touch panel of the finger,
前記指／掌判別ステップで判別した結果および前記座標検出ステップで検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択ステップと、 According proximity position coordinates detected by the result determined in the finger / palm determination step and the coordinate detection step, the application selection step of selecting an application,
前記アプリケーション選択ステップで選択したアプリケーションに対応した表示を行う表示ステップとを備えたことを特徴とするユーザインタフェース制御方法。 User interface control method characterized by comprising a display step of performing display corresponding to the application selected in the application selection step.
タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識ステップを備え、 From the output value of the touch panel, it includes a gesture recognition step recognizes the finger or palm of the movement of the proximity state,
アプリケーション選択ステップは、指／掌判別ステップで判別した結果および座標検出ステップで検出した近接位置座標に加え、前記ジェスチャ認識ステップで認識した結果に従って、アプリケーションを選択することを特徴とする請求項３記載のユーザインタフェース制御方法。 Application selection step, in addition to the proximity position coordinates detected by the result determined by the finger / palm determining step and the coordinate detection step, according to the result of recognition by the gesture recognition step, according to claim 3, wherein the selecting an application user interface control method of.
アプリケーション選択ステップでは、指／掌判別ステップで掌が近接したと判別された場合に、本装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択することを特徴とする請求項３または請求項４記載のユーザインタフェース制御方法。 The application selection step, if the palm with the fingers / palm determination step is determined to have approached, claim 3 or claim and selects the application that controls the on / off switching of the power switch of the apparatus 4 user interface control method according.
アプリケーション選択ステップでは、指／掌判別ステップで掌が近接したと判別された場合に、表示されている全情報を一括して選択するアプリケーションを選択することを特徴とする請求項３または請求項４記載のユーザインタフェース制御方法。 The application selection step, if the palm with the fingers / palm determination step is determined to have approached, claim 3 or claim and selects the application to select collectively all the information that is displayed 4 user interface control method according.
アプリケーション選択ステップでは、指／掌判別ステップで指が近接したと判別された場合に、座標検出ステップで検出した近接位置座標に表示されている情報を選択するアプリケーションを選択することを特徴とする請求項３から請求項６のうちのいずれか１項記載のユーザインタフェース制御方法。 The application selection step, when the finger with a finger / palm determination step is determined to have approached, claims and selects the application to select the information displayed in the proximity position coordinates detected by the coordinate detection step user interface control method according to any one of claims 6 to claim 3.
アプリケーション選択ステップでは、ドキュメント閲覧画面が表示されているとき、指／掌判別ステップで掌が近接したと判別された場合に当該ドキュメントの複数ページを一括してめくるアプリケーションを選択し、指が近接したと判別された場合に当該ドキュメントの一ページをめくるアプリケーションを選択することを特徴とする請求項３または請求項４記載のユーザインタフェース制御方法。 The application selection step, when the document browsing screen is displayed, select the application to turn collectively a plurality of pages of the document when the palm with the fingers / palm determination step is determined to have approached, the finger is close claim 3 or claim 4 user interface control method according to and selects the application to turn one page of the document when it is determined that.
タッチパネル付きユーザインタフェース装置のユーザインタフェース制御プログラムであって、 A user interface control program of the user interface device with a touch panel,
コンピュータを、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出手段と、 The computer, using the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel,
前記物体近接検出手段が近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指／掌判別手段と、 When the object proximity detection means detects the proximity state, the finger / palm discrimination means the object from the output value to determine whether the palm or the finger of the user,
前記指／掌判別手段が前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出手段と、 When the finger / palm discriminating means has the object determines that the finger, and the coordinate detection means for detecting the proximity position coordinates in the touch panel of the finger,
前記指／掌判別手段が判別した結果および前記座標検出手段が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択手段と、 According proximity position coordinates the finger / palm discriminating means detects the result is determined and the coordinate detection means, and the application selection means for selecting an application,
前記アプリケーション選択手段が選択したアプリケーションに対応した表示を行う表示手段として機能させるためのユーザインタフェース制御プログラム。 User interface control program for functioning as display means for performing display corresponding to the application the application selection means has selected.
タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識手段を備え、 From the output value of the touch panel, it includes a gesture recognition means for recognizing a finger or palm movement of proximity state,
アプリケーション選択手段は、指／掌判別手段が判別した結果および座標検出手段が検出した近接位置座標に加え、前記ジェスチャ認識手段が認識した結果に従って、アプリケーションを選択することを特徴とする請求項９記載のユーザインタフェース制御プログラム。 Application selection means, in addition to the proximity position coordinates result finger / palm determination means has determined and coordinate detection means has detected, according to the result the gesture recognition means recognizes, claim 9, wherein the selecting an application user interface control program.
アプリケーション選択手段は、指／掌判別手段で掌が近接したと判別された場合に、本装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択することを特徴とする請求項９または請求項１０記載のユーザインタフェース制御プログラム。 Application selection means, when the palm with the fingers / palm discriminating means is judged to have approached, claim 9 or claim and selects the application that controls the on / off switching of the power switch of the apparatus 10 user interface control program according.
アプリケーション選択手段は、指／掌判別手段で掌が近接したと判別された場合に、表示されている全情報を一括して選択するアプリケーションを選択することを特徴とする請求項９または請求項１０記載のユーザインタフェース制御プログラム。 Application selection means, when the palm with the fingers / palm discriminating means is judged to have approached, claim 9 or claim and selects the application to select collectively all the information that is displayed 10 user interface control program described.
アプリケーション選択手段は、指／掌判別手段で指が近接したと判別された場合に、座標検出手段で検出した近接位置座標に表示されている情報を選択するアプリケーションを選択することを特徴とする請求項９から請求項１２のうちのいずれか１項記載のユーザインタフェース制御プログラム。 Application selection means, when the finger is judged to have approached by the finger / palm discriminating means, claims and selects the application to select the information displayed in the proximity position coordinates detected by the coordinate detecting means user interface control program according to any one of claims 12 to claim 10.
アプリケーション選択手段は、ドキュメント閲覧画面が表示されているとき、指／掌判別手段で掌が近接したと判別された場合に当該ドキュメントの複数ページを一括してめくるアプリケーションを選択し、指が近接したと判別された場合に当該ドキュメントの一ページをめくるアプリケーションを選択することを特徴とする請求項９または請求項１０記載のユーザインタフェース制御プログラム。 Application selection means, when the document browsing screen is displayed, select the application to turn collectively a plurality of pages of the document when the palm with the fingers / palm discriminating means is determined to have approached, the finger is close claim 9 or claim 10 user interface control program, wherein the selecting an application to turn one page of the document when it is determined that.
JP2009089344A 2009-04-01 2009-04-01 User interface device with touch panel, method and program for controlling user interface Pending JP2010244132A (en)
JP2009089344A JP2010244132A (en) 2009-04-01 2009-04-01 User interface device with touch panel, method and program for controlling user interface
JP2010244132A true true JP2010244132A (en) 2010-10-28
ID=43097112
JP2009089344A Pending JP2010244132A (en) 2009-04-01 2009-04-01 User interface device with touch panel, method and program for controlling user interface
JP (1) JP2010244132A (en)
JP2012234317A (en) * 2011-04-28 2012-11-29 Ntt Docomo Inc Display device, control method for display device and program
WO2013080425A1 (en) * 2011-12-01 2013-06-06 パナソニック株式会社 Input device, information terminal, input control method and input control program
US20130257796A1 (en) * 2012-03-29 2013-10-03 Brother Kogyo Kabushiki Kaisha Touch panel control device, touch panel control method and non-transitory computer-readable medium
US20130257764A1 (en) * 2012-03-29 2013-10-03 Brother Kogyo Kabushiki Kaisha Touch panel control device and non-transitory computer-readable medium
WO2013179474A1 (en) * 2012-05-30 2013-12-05 シャープ株式会社 Touch sensor system
JP2014121854A (en) * 2012-12-21 2014-07-03 Konica Minolta Inc Image formation device and program
JP2014160473A (en) * 2012-04-19 2014-09-04 Panasonic Intellectual Property Corp Of America Portable electronic devices
JP2015141425A (en) * 2014-01-27 2015-08-03 アルプス電気株式会社 Touch pad input device and touch pad control program
JP2016045931A (en) * 2014-08-21 2016-04-04 京セラドキュメントソリューションズ株式会社 Image processing apparatus
WO2017047416A1 (en) * 2015-09-14 2017-03-23 株式会社東海理化電機製作所 Operation detection device
JP2017510879A (en) * 2014-01-28 2017-04-13 ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． Method and a terminal device for processing a terminal device
US9846519B2 (en) 2014-12-22 2017-12-19 Alps Electric Co., Ltd. Input device, and method and program for controlling the same
JP2008269208A (en) * 2007-04-19 2008-11-06 Calsonic Kansei Corp Operation detection system
US9195338B2 (en) 2012-03-29 2015-11-24 Brother Kogyo Kabushiki Kaisha Touch panel control device and non-transitory computer-readable medium
US9164616B2 (en) 2012-03-29 2015-10-20 Brother Kogyo Kabushiki Kaisha Touch panel control device, touch panel control method and non-transitory computer-readable medium
US8937609B2 (en) 2012-05-30 2015-01-20 Sharp Kabushiki Kaisha Touch sensor system