情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B3-5
2014/2/28

1 つのタッチセンサを用いたマルチタッチジェスチャの認識
真鍋 宏幸1,a)

概要：静電容量方式のタッチセンサを 1 つだけ用いたマルチタッチジェスチャ検出手法を提案する．細いセンシング電極を用いることで，タッチと複数の指によるスワイプを検出することができる．実験の結果，4 種類のジェスチャを 98%の精度で認識することができた．提案手法は，低消費電力化や小型化が可能であるため，特に小型デバイスに有効であると考えられる．

Multi-touch Gesture Recognition by Single Touch Sensor
Hiroyuki Manabe1,a)Abstract: Multi-touch gesture recognition by single capacitive touch sensor is proposed. Its narrow sensing
electrode allows to recognize touch and multiple-ﬁnger swipe. An experiment shows that 4 gestures are recognized with 98% accuracy. The proposed technique that can be miniaturized and implemented by a quite
low powered circuit is suitable for tiny devices.

1. はじめに無線通信や電子回路の低消費電力化，バッテリ容量の増大と環境発電技術の進展，さらに加工技術の向上などにより，メガネ型デバイス*1 や，腕時計型デバイス*2 ，小型音ジェスチャを認識する手法を提案する．提案手法は，特にデバイスの細長い領域，例えばメガネのツルやデバイスの側面，などでの入力に適している．

2. 関連研究楽プレーヤ*3 など高機能な小型デバイスが実用化されていタッチセンサには，静電容量方式，感圧方式，光学方式

る．デバイスの小型化には，持ち運びが容易になり，常時など様々な方式があるが，静電容量方式のタッチセンサは，装用も可能となるというメリットがあるが，一方でデバイ

一般に低消費電力であり，PC やスマートフォン，高機能スへの入力が難しくなるという課題が生じる．例えば，指小型デバイスなど多くのデバイスの主要な入力手法としてよりも小さな超小型スイッチを入力に用いた場合，適切な利用されている．タッチセンサの利点の 1 つは，複数の微フィードバックを与えることが難しく，特に複数のスイッ小センサをアレイ状に設置することで（通常タッチパッドチの中から所望のスイッチのみを押下することは難しい．と呼ばれる），タッチ位置やマルチタッチやスワイプなどの今後，ユーザとの入出力機構がデバイスの小型化のボトルジェスチャを検出できることである [4], [10]．タッチパッネックになっていくだろう．実用的な小型デバイスを実現

ドやマウスで利用される光学センサを用いた手法 [6] でも，するためには，小型化しても素早く入力ができ，さらに誤タッチセンサが多数配置された構造となっている．タッチ入力が少なく，低消費電力な入力手法が必要である．

センサを利用した研究は数多く行われてきており，小型本論文では，1 つのタッチセンサを用いてマルチタッチディスプレイへの背面からの操作 [1]，ひも状デバイスの操
作 [12]，複数のタッチセンサを用いた把持状態検出 [3], [15]1a)*1*2*3

NTT ドコモ 先進技術研究所
Research Labs, NTT DOCOMO
manabehiroyuki@acm.org
Google GlassGALAXY Gear
iPod nano (6th generation)© 2014 Information Processing Society of Japanなどのほか，時間領域反射測定法を用いたタッチ検出手法 [14] などが提案されている．通常，タッチセンサは指が触れているかどうかを判定するだけであるため，センサを 1 つだけ用いた場合には，入力の自由度が低くなってし450

まう．センサの数を増やすことで入力の自由度を上げることができるが，回路規模が大きくなったり，複雑な処理がpulse A必要となり消費電力が増大するという課題がある．1 つのpulse B
VCC

タッチセンサのみを使った場合でも，モールス信号やリズ

31insurator

ミカルなタップ [5] を使うなどすれば複雑な入力も可能であるが，入力に時間がかかる．また，センサの出力を 2 値

R2R1sensing
electrode 2で判別するのではなく，連続値として扱うことで，自由度

4CP1CP2R3R5R4C1output

VCC/2を上げる方法もある．これは，センサを近接センサや圧力センサとしても動作させることに対応する．1 つのフォトリフレクタを用いた例として，[7], [13] などがある．タッチ

GND line

図 1検出回路．マイコンで生成する 2 種類の矩形波と，2 つのコパッドでの近接情報の検出 [10]，デバイス側面に配置したンパレータを用いることで，静電容量に応じた電圧が出力さフォトリフレクタによるマルチタッチ操作の検出 [2] などれる．

では，複数センサの出力を連続値として扱っている．Satoらが提案した Touché は，タッチの状態によってインピーフィルムを貼ってある．GND ラインは剥き出しのままでダンスや静電容量等の周波数特性が異なることを利用し，あり，指が直接触れるようになっている．なお，センシン1 つの電極を用いるだけでタッチや把持状態を識別するこグ電極のみの基板を用いても動作するが，安定した出力をとができる [11]．同様の識別は，振動を用いても可能であ得るために，今回は GND ラインを設けている．

ることが報告されている [9]．必要とするセンサ数を減らす

図 3 に，電極に指が触れていない時（上図）と触れていことは，製造コストを低下だけでなく，複数電極を併用しない時（下図）に観測される波形を示す．上から順に図 1たときの精度向上などにも貢献する．すでに，1 つのフォの 1，2，3，4 の位置での電位変化を表す．図 1 の pulse A

トリフレクタを用いて，マルチタッチジェスチャを認識で（1 の電位）は，マイコンで生成した 10kHz の矩形波であきることが報告されている [8]．この手法は，メガネ型デバる．寄生容量や接触により形成される静電容量のために，イスのツルの部分を用いた入力などに適しているが，フォ2 の電位は pulse A にローパスフィルタがかかった波形とトリフレクタを用いているため，消費電力が大きいというなる．指が触れている時の方が，静電容量が大きくなるた

課題があった．

め，R2 で設定される閾値の電位に到達するまでの時間が長3. 提案手法

くなる．このことは，図 3 の 3 の電位で，接触している方が立ち上がりが遅くなっており，コンパレータ OP1 の HI

静電容量方式のタッチセンサで用いられる電極の形状を出力の持続時間が短くなっていることからもわかる．その工夫することで，1 つのセンサでタッチと複数の指による差は HI の持続時間に比べて小さいが，早い段階で出力をスワイプを検出する手法を試みる．複数の指を接触させてLO にすることで HI 持続時間を短縮し，触れている時と触スワイプを行った場合でも，指と指の間に生じる間隙を検れていない時の HI 持続時間の比を拡大することができる．

出することで，指の本数を検出することができ，指がセン

具体的には，pulse A の立ち下がりよりも早いタイミングサに接触している時間からタッチとスワイプを識別できるで状態が変化する pulse B との比較を OP2 で行うことで，ことが，フォトリフレクタを用いた研究により示されてい立ち上がりのタイミングは 3 と同じで，立ち下がりのタイる [8]．静電容量方式のタッチセンサで同様なことができミングは 3 よりも早い 4 の電位を得ることができる．図のれば，消費電力を低減させることができる．

例では，4 の HI 持続時間は，指が触れていない時に 13.7µsであるのに対し，触れている時には 10.8µs である．また，

3.1 検出回路とセンシング基板
タッチセンシングにはいくつかの方式があるが，今回は充電時間から静電容量の変化を検出する方式を用いた．実HI 持続時間の比が 3 の電位よりも 4 の方が拡大していることがわかる．この信号にローパスフィルタをかけ，出力信号とする．

験で使用した検出回路を図 1 に示す．この回路は，電極間に形成される静電容量を連続的なアナログ信号として出力3.2 マルチタッチジェスチャを行った時の出力波形する．図 2 に，今回用いたセンシング基板を示す．センシ製作した検出回路とセンシング基板を用いて，タッチ，ング電極は通常，感度やノイズ耐性の観点から大きい方が1 本，2 本，3 本指によるスワイプの 4 種類のマルチタッチ望ましいとされるが，本手法では指と指の間隙を検出する

ジェスチャを行い，回路の出力を 20kHz でサンプリング

目的から細くなければならない．今回は，1.5mm 幅のセンした結果を図 4 に重ねて示す．タッチが行われた場合，長シング電極で実験を行った．センシング電極には絶縁テー時間の信号の低下が観測されるのに対し，スワイプを行っプを貼付し，その上に滑らかなスワイプを実現するためのた場合には，指の本数に応じた谷が短時間の中に観測され© 2014 Information Processing Society of Japan451

Swipingtouch
2-finger swipe

1-finger swipe
3-finger swipe

11.6mm1.5mm
GND line
1.8mm

Test board

Sensor output

Sensing electrode

図 2 センシング基板．細いセンシング電極と GND ラインで構成される．センシング電極には絶縁テープと保護フィルムが貼ら100msれているのに対し，GND ラインには指が直接触れる．

Elapsed time
図 4
Timing of statechange of pulse B

マルチタッチジェスチャを行った時の出力波形の例．タッチでは出力が長い間低下するのに対し，スワイプ時には指の本数に応じた谷が短時間の中で観測される．

3.3 マルチタッチジェスチャの認識検出回路の出力を 20kHz サンプリングで PC に取り込み，行われたジェスチャを認識するソフトウェアを製作した．ジェスチャの認識は，次のように行われる．あらかじめ，指が触れている時と触れていない時の出力レベルを計13.7µs

測し，閾値を設定する（キャリブレーション）．次に，出力が閾値を下回っているかどうかを監視し，下回っている時にジェスチャが行われたと判別する．ジェスチャが行われている時間が長い場合をタッチとし，短い場合には，さらに谷の数をカウントし，谷の数と同数の指によるスワイプであると認識する．
時間の長短によって，タッチとスワイプを識別している
ため，素早いタッチを 1 本指スワイプに，ゆっくりとしたスワイプをタッチに誤認識する場合がある．従来研究 [8]では，出力波形におけるタッチとスワイプの違いとして，ジェスチャの持続時間だけでなく，立ち上がり，立ち下が10.8µsりの傾きが指摘されている．静電容量方式のセンサを用いた場合でも，図 4 のようにタッチ時には急峻な立ち下がり

図 3 電極に指が触れていない時（上図）と触れている時（下図）の波形例．上から順に図 1 の 1〜4 の電位に対応する．指が触れると静電容量が増加し，緑色の波形の HI 持続時間は減少する．

た．この結果は，フォトリフレクタを用いた従来研究 [8]と同様であり，静電容量方式のタッチセンサを用いても，マルチタッチジェスチャの認識が可能であることを示してが見られる．立ち下がりの傾きを併用することで，認識性能の向上が期待できるが，今回は簡略化のために傾きは用いなかった．

4. 評価
本手法の有効性を確認するため，5 名の被験者（女性 1，男性 4）による評価実験を行った．

いる．なお，出力信号には，ローパスフィルタで取り除けなかった 10kHz のノイズと，商用電源由来の 50Hz のノイ4.1 実験手順ズが見られる．タッチの波形を見ればわかるように，指が被験者は実験開始前に 1 分程度，製作したマルチタッチ

GND ラインに接触している時（タッチしている時．図中ジェスチャ認識システムで自由にタッチ，スワイプ操作をで信号が下がっている時）には 50Hz のノイズは比較的小行った．その際，素早いタッチや遅いスワイプは行わない

さいが，GND ラインから離れている時（タッチしていなこと，スワイプの方向は図 2 に示す方向のみとすること，い時．図中で信号レベルが高い時）には大きくなる傾向が

GND ラインに指が触れながらスワイプを行うことを指示見られた．

として与えた．

© 2014 Information Processing Society of Japan452

ため，電極の大きさや形状についても検討していく必要が㻌
touch
2-finger swipe

あるだろう．

1-finger swipe
3-finger swipe

第二の課題として，マルチタッチジェスチャの認識がうまくいかないユーザの存在が挙げられる．著者（評価実験の被験者には含まれない）がスワイプを行うと，指の本㻌Correct count2520

数に関わらず，1 本指スワイプの時のような谷が 1 つの波形が得られ，1 本指スワイプと認識されることがしばしばあった．指先とセンシング電極をティッシュで拭くと，正しく指の本数を検出できるようになることがあったことか150

ら，指先の汗がセンシング基板に付着することが原因の 1ABCDESubject
図 5つと考えられる．今後原因を探求し，より多くのユーザが利用できるように改良していくことが必要である．

認識正解数．それぞれのジェスチャを 25 回行い，正しく認識

従来研究 [8] では，空間方向の感度に違いを持たせるこされた数を表す．誤認識の多くは 2，3 本指でのスワイプで発とで，スワイプの方向検出が可能であることを報告してい生した．正解率の平均は 98%であった．

る．製作したセンシング電極は対称型であるため，スワイプ方向に沿った感度に違いはなく，方向検出はできない．

次に，被験者はタッチ，1，2，3 本指スワイプの 4 種類

電極形状や表面に貼付するフィルムなどにより，空間方向のジェスチャの中から指示されたジェスチャを行い，指示の感度を変化させ，方向検出が行えるかどうか検討してい者はシステムが認識したジェスチャを記録した．それぞれきたい．のジェスチャを 25 回（合計 100 回）行い，指示する順番

フォトリフレクタと比較して，静電容量方式のタッチセはランダムにシャッフルしている．実験中，被験者は認識ンサは原理的に低消費電力で動作させることが可能であ結果を見ることはできないため，正しく入力できたどうかる．しかし，今回用いたコンパレータ（実際には OP オペはわからない．

アンプ）は消費電力が特に低いものではなく，矩形波を生成するために用いたマイコンも，矩形波を生成する目的か

4.2 実験結果

ら考えれば不必要に多くの電力を消費してしまっている．

図 5 に，被験者およびジェスチャごとの正解率を示す．

そのため，製作した回路の消費電力は，フォトリフレクタ

被験者 A は女性，B〜E は男性である．指の細い女性を含を用いた場合とあまり変わらなかった．今後，消費電力をむ全ての被験者で高い正解率が得られている（正解率の平削減した回路設計を行うことが重要である．

均は 98%）．タッチを 1 本指スワイプと認識した被験者 A

実験では 1 つのセンサのみを用いたが，複数のセンサにの誤認識を除けば，誤認識は 2 本，3 本指スワイプをそれ提案手法を適用することも有用である．例えば，メガネ型

ぞれ 1 本，2 本指スワイプと認識したケースであった．こデバイスのツルなど細長い面での入力を考える．1 つのセれは，2 本の指に相当する出力波形上の 2 つの谷の間に，ンサのみを設置した場合，そのセンサ上で行われたジェス十分な山が形成されなかったために起こっていた．

チャしか検出することができない．一方，複数のセンサを5. 考察設置すれば，様々な位置で行われたジェスチャを検出することができる．通常は，指よりも小さなタッチセンサを密実験から，静電容量方式のタッチセンサを用いた場合でに配置する必要があるのに対し，本手法を適用した複数セも，タッチと複数の指によるスワイプを認識できることがンサを用いれば，少数のセンサを疎に配置するだけでよい．

わかった．ここでは，今回の取り組みで明らかとなった課

また複数のセンサがあれば，スワイプの方向も容易に検出題や，今後の性能向上および機能拡張について議論する．

可能となる．どの程度まで疎に配置できるのかを明らかに

まず第一の課題として，商用電源による 50Hz のノイズの混入が挙げられる．センシング電極とは異なる GND ラインを設置することで，その混入を抑制することができるすることで，実用上の有用性は増すと考えられる．

6. まとめが，剥き出しの GND ラインを維持しなければならず，ユー静電容量方式のタッチセンサを 1 つだけ用いたマルチ

ザは GND ラインに触れながら操作する必要が生じる．回

タッチジェスチャ検出手法を提案した．提案手法は，低消路構成や検出方法の工夫などを通じて，ノイズ低減に取り費電力化や小型化が可能であり，小型デバイスの入力手法組んでいく必要がある．また一般に，タッチセンサの電極として有効である．評価実験により，タッチと複数の指にが大きいほど，ノイズや感度の点で有利であるとされる．

よるスワイプを高い認識精度で検出することができること

しかし，提案手法では小さな電極を使わなければならないを確認した．今後，認識精度の向上や，スワイプの方向検© 2014 Information Processing Society of Japan453

出などにも取り組んでいきたい．
参考文献
[1]

[2]

[3]

[4]
[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

Baudisch, P. and Chu, G.: Back-of-device interaction allows creating very small touch devices, Proc. CHI ’09,pp. 1923–1932 (2009).
Butler, A., Izadi, S. and Hodges, S.: SideSight: multi”touch” interaction around small devices, Proc. UIST
’08, pp. 201–204 (2008).
Cheng, L.-P., Lee, M. H., Wu, C.-Y., Hsiao, F.-I., Liu,Y.-T., Liang, H.-S., Chiu, Y.-C., Lee, M.-S. and Chen,
M. Y.: iRotateGrasp: automatic screen rotation basedon grasp of mobile devices, Proc. CHI ’13, pp. 3051–3054(2013).
Dietz, P. and Leigh, D.: DiamondTouch: a multi-user
touch technology, Proc. UIST ’01, pp. 219–226 (2001).
Fukumoto, M. and Tonomura, Y.: Whisper: a wristwatch style wearable handset, Proceedings of theSIGCHI conference on Human Factors in Computing
Systems, CHI ’99, pp. 112–119 (1999).
Harrison, C. and Hudson, S. E.: Minput: enabling interaction on small mobile devices with high-precision,
low-cost, multipoint optical tracking, Proc. CHI ’10, pp.
1661–1664 (2010).
Hinckley, K., Pierce, J., Sinclair, M. and Horvitz, E.:
Sensing techniques for mobile interaction, Proc. UIST’00, pp. 91–100 (2000).
Manabe, H.: Multi-touch gesture recognition by single photoreﬂector, Adjunct proc. UIST ’13, pp. 15–16(2013).
Ono, M., Shizuki, B. and Tanaka, J.: Touch & Activate: adding interactivity to existing objects using active
acoustic sensing, Proc. UIST ’13, pp. 31–40 (2013).
Rekimoto, J.: SmartSkin: an infrastructure for freehand
manipulation on interactive surfaces, Proc. CHI ’02, pp.
113–120 (2002).
Sato, M., Poupyrev, I. and Harrison, C.: Touché: enhancing touch interaction on humans, screens, liquids,
and everyday objects, Proc. CHI ’12, pp. 483–492(2012).
Schwarz, J., Harrison, C., Hudson, S. and Mankoﬀ, J.:
Cord input: an intuitive, high-accuracy, multi-degree-offreedom input method for mobile devices, Proc. CHI ’10,
pp. 1657–1660 (2010).
Spelmezan, D., Appert, C., Chapuis, O. and Pietriga,E.: Controlling widgets with one power-up button, Proc.
UIST ’13, pp. 71–74 (2013).
Wimmer, R. and Baudisch, P.: Modular and deformabletouch-sensitive surfaces based on time domain reﬂectometry, Proc. UIST ’11, pp. 517–526 (2011).
Wimmer, R. and Boring, S.: HandSense: discriminating
diﬀerent ways of grasping and holding a tangible userinterface, Proc. TEI ’09, pp. 359–362 (2009).

© 2014 Information Processing Society of Japan454