情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B2-2
2014/2/28

Multi-Press Interaction:
擬似押下圧力を用いたマルチタッチ技法
池松 香1,a)

椎尾 一郎1,b)

概要：スマートフォンやタブレットの普及によってマルチタッチジェスチャは一般的な操作方法になりつつあり，近年はより直感的なインターフェースに注目が集まっている．そこで本研究では，タッチパネル上において，複数本の指やタッチペン等の接触面積を取得し，これから指とペンの識別，指や手の接触状態，押下圧力を推定し利用する新しいマルチタッチインタラクション，Multi-Press Interaction を実現する．従来のマルチタッチに加えて，マルチプレスを用いることでアプリケーション上でモードの切り替えや入力を直感的かつシームレスに行うことが可能となる．本論文では，このインターフェースを実装し，ペイントアプリケーションを試作した．

Multi-Press Interaction: A Multi-touch Technique Using
Pseudo-Depression Pressure for Interactive Surface
Ikematsu Kaori1,a)Siio Itiro1,b)Abstract: This paper proposes Multi-Press Interaction extending touch-based interaction using pseudodepression pressure. Our proposed technique enables a system to distinguish fingers (e.g. a thumb or apinkie) or touch pens by using the amount of their contact areas and deal with the diﬀerent inputs. In
addition to conventional touch interface, multi-press input allows users to switch the modes and to input
intuitively. We have developed a prototype application: a paint application.

1. はじめにターフェースを提供することが可能である．
本論文では，タッチインタラクションの拡張としての近年，マルチタッチインタフェースは，iOS，Android，Multi-Press Interaction の，コンセプトと実用性についてMac OS X，Windows 8 など主要な OS でサポートされ，一述べ，提案手法を実現するアプリケーションプロトタイプ般的な手法になりつつある．マルチタッチインターフェーを紹介する．

スの普及により，標準装備の入力デバイスのみで，ユーザの複数指を使った直接的な操作が可能になった．そこで，

2. 関連研究我々はタッチパネル上で指やタッチペン等の接触面積を取これまでに多くのタッチインタラクションの研究が蓄積得し，これにより，指とペンの識別，指や手の接触状態、されてきた．本章では，タッチサーフェスへの入力を識別押下圧力を推定し利用する新しいマルチタッチインタラする手法に関する研究と，多様な入力手法をサポートするクションとして Multi-Press Interaction を提案する．従来研究の 2 つに分けて紹介する．のマルチタッチ入力に加え，この Multi-Press Interactionを組み合わせることで，より直感的かつ操作性の高いイン
1a)b)

お茶の水女子大学人間文化創成科学研究科
Ochanomizu University, Bunkyo, Tokyo 112-8610, Japanikematsu.kaori@is.ocha.ac.jp
siio@acm.org© 2014 Information Processing Society of Japan

2.1 タッチインターフェースへの入力識別のための研究
タッチの際に指を認識し，指の違いを入力として利用するインタラクション手法 [10] や，指紋認証により各々の指を区別し，タッチした指によって予め割り当てられられた401

コマンドに対応する処理を行うインターフェース [7]，特殊なマイクをデバイスに埋め込み，タッチした瞬間の音の違いにより，指先，指の腹，爪，関節の 4 箇所を識別する技
術 [2]，複数本の指の組み合わせを用いたジェスチャによるメニュー操作 [4] などがある．Manual Deskterity[3] では
赤外線 LED を搭載したペンデバイスを用いて，ペンと指先のマルチタッチの同時入力を利用したインターフェースを提案した．また，製品化されているものでは，MVPenテクノロジーズがノートブック PC やデスクトップ PC の図 1 透明ディスク付きのタッチペン.

側面に赤外線センサを取り付けることで，専用のペンデバ

Fig. 1 Example of a touch-pen with disk tip.

イスと指でのタッチ入力を識別する Touch8*1 を開発した．
これらの研究では，いずれも入力・入力方法の識別に外付けのハードウェアやセンサ，カメラ，専用の入力ペンなどを必要とするが，提案手法では特殊なデバイスが不要な方法を目指した．
我々と同じく指の接触面積に着目した研究では，The fatthmb[1] がある．これはタッチパネルと指先の接触面積の変化を利用して，ズームや画面内での移動を実現する．この研究は，片手しか使えない状況や，画面が小さく複数本
図 2の指での操作に向いていないデバイスを使用している状況にフォーカスし，一本指ジェスチャに特化している．一方，先端がゴム製のタッチペン.

Fig. 2 Example of a touch-pen with conductive rubber tip.

我々の提案する Multi-Press Interaction では，このようにシチュエーションや使用する指の本数を限定しない，広範囲な利用状況を対象としている．

2.2 タッチサーフェス上で多様な入力方法を実現する研究
従来のタッチインタラクションでは，指の接触した点座標のみを用いて操作を行っているものが多い．これに対し，触れた際の座標以外の情報を取得し，インタラクションに応用している研究を以下に挙げる．

Z-touch[9] では，高速カメラをディスプレイに取り付けることで，指の向きや傾きを用いたインタラクションを

図 3 1 点タッチ入力とプレス入力の使い分けによる使用機能変更の様子.

Fig. 3 Mode switching by touch and press by one finger.

実現した．WrinkleSurface[8] や，PhotoelasticTouch[5] での透明ディスクのあるスタイラスや，図 2 のようなペンは，弾性素材のタッチサーフェスを指でつまんだりねじっ先がゴムでできているタッチペンでは，ペン先の接触面積たりする入力を可能にした．

が異なる．また，これらのタッチパネル用のペンでは，一

上記の研究においても，弾性ディスプレイや高速カメラ

般的に接触面は指より小さく，形状が比較的安定しているなど特殊なハードウェアを用いる必要があり，実用性に課ため，力を加えても面積は変化しにくいという特徴が挙げ題がある．本研究では，トラックパッドやスマートフォン，られる．これらの入力を多点タッチとして組み合わせ，さタブレット PC などで広く普及しつつあるマルチタッチ可らにスワイプやピンチなどのジェスチャを加えることで，能なタッチディスプレイのみで実現可能である．

様々なインタラクションを定義できる．本研究では，この3. Multi-Press Interaction
ディスプレイ上に指でタッチすると，指圧の強度や，指先で触れあるいは，指の腹で触れるといった指の姿勢によって指とタッチディスプレイとの接触面積は変化する．
また，図 1 のような，先端に静電式タッチスクリーン対応

ようなタッチディスプレイと指やタッチペンにおける接触面積の違いを利用し，データの閲覧や編集作業をシームレスに行えるインターフェース手法を提案する．

4. 応用例と実装
本章では，提案手法を用いて開発した試作アプリケーションとして，iOS6 上で稼働する iPad 用ペイントアプリ*1

http://mvpen.shop-pro.jp/?pid=52837346© 2014 Information Processing Society of Japan

ケーションを紹介する．接触面積の取得には iOS の API

402

を用いている．この API は接触点の半径をピクセル値で返すものである．指の腹などで強くディスプレイを押せばこの接触面積は広く，指先で軽く触れれば狭くなる．提案手法は，この接触面積の変化を疑似押下圧力として利用する．

4.1 タッチ/プレスでの機能の切り替え
Multi-Press Interaction を利用したベーシックなインタ
ラクション手法の有用性を確認するためにペイントアプリ
ケーションを試作した．従来のタッチインタラクションと同様の操作でタッチディスプレイに触れる入力をタッチ，指をディスプレイに押し付けるような，タッチに比べて強い力での入力をプレスと表記する．今回試作したアプリ
ケーションでは，一本指で線描画を行い，そのままプレスすると消しゴムに切り替わる (図 3)．また，タッチペンを用いることで描画色の変更を行うことができる．

4.2 主機能/オプション機能の切り替え
主機能とオプション機能も接触面積の広さによって割り当てた．例えば，図 4 のように，右手の指先もしくはタッ

図 5 スクロール/ズーム/回転機能の割り当て．

Fig. 5 Assigned functions to user’s dominant and nondominant hand.

チペンで線描画を行っている際に，左手の指の腹でディスプレイにタッチすることでカラーパレットを表示し，描画中のペンの色を変更する．この手法により，メインタスク(描画) とオプション (色変更) の操作をシームレスかつ素早く行うことが可能となる．
他にも，図 5 のように，タッチペンでの作業中にもう片方の手の指でディスプレイに触れることで，画面のスクロールやズーム，回転をできるよう機能を割り当てた．従来のペイントソフトでは，カラーパレット表示のために階層状のメニューをたどる必要があったり，メニューを表示

図 6

マルチプレスによる穴あけパンチジェスチャ．

Fig. 6 2 point Multi-pressin triggeres punching hold function.

し続けるために作業領域が縮小するなどの問題があった．
提案手法は，実世界の画家が非利き手にパレットを持つこ用する際，両手の親指でパンチャー上部を押し込むことで，とのメタファを利用し，非利き手を画面に触れてメニュー書類に穴をあけ，フォルダや紐でまとめ，保存することがを出し，利き手から機能を選択して使用する直感的な操作できる．このメタファを利用し，本プロトタイプでは，図を提供する．

6 のように，編集中のキャンバス上で 2 点のマルチプレス

筆者らの研究に，手を使って紙を押さえる動作をメタファとして利用したインターフェース，文鎮メタファ [6]がある．本機能はこの研究をリファインしたものであると言える．文鎮メタファは手で押さえるという動作を機器がを行うことで，作業内容が保存される（ファイリングされる）機能を実装した．

5. まとめと今後の展望認識するために，ペンを持つ手のひらがあたる場所にタッ

本論文では，タッチパネルに触れる際の指やスタイラスチセンサを取り付けていた．本研究では押さえるために使等での接触面積の違いを，疑似押下圧力として利用した用する指をタッチディスプレイ自体が認識するため，追加

Multi-Press Interaction について報告した．作成したプロのタッチセンサを使用する必要がなく，標準装備のマルチトタイプのペイントアプリケーションでは，入力に使用すタッチ入力デバイスのみで実現できる，シンプルかつ直感る指の本数や指先姿勢，タッチペンや両手の組み合わせに的なインターフェースである．

より多彩なインタラクションを提供する．
今後は，手の各指先や指の腹，関節部分などでタッチし4.3 マルチプレスによる機能た場合，さらにその各部位において軽く触れた場合と強くこのプロトタイプでは，穴あけパンチのメタファを用い押した場合に分類し，そのデータから識別可能な部位を考たプレスジェスチャを実装した．通常，穴あけパンチを使察したい．また，ユーザー毎の指接触面積を登録する機能© 2014 Information Processing Society of Japan403

図 4

非利き手でオプションメニューを表示する.

Fig. 4 Popping-up a menu by non-dominant hand while drawing by dominant hand.などを実装して各ユーザーの指の使い分けに適応し，精度を向上を目指したい．また，様々な指やペンの組み合わせの入力に，どういった機能の割り当てが適しているのかを検討し，Multi-Press Interaction をより有効に用いること[5]が可能なアプリケーションを実装したい．そして，実際に多くのユーザーの使用をもとに，評価を行いたい．
参考文献
[1]

[2]

[3]

[4]

Boring, S., Ledo, D., Chen, X. A., Marquardt, N., Tang,
A. and Greenberg, S.: The fat thumb: using the thumb’s
contact size for single-handed mobile interaction, Proceedings of the 14th international conference on
Human-computer interaction with mobile devices andservices, MobileHCI ’12, New York, NY, USA, ACM, pp.
39–48 (online), DOI: 10.1145/2371574.2371582 (2012).
Harrison, C., Schwarz, J. and Hudson, S. E.: TapSense:
enhancing finger interaction on touch surfaces, Proceedings of the 24th annual ACM symposium on Userinterface software and technology, UIST ’11, New
York, NY, USA, ACM, pp. 627–636 (online), DOI:
10.1145/2047196.2047279 (2011).
Hinckley, K., Yatani, K., Pahud, M., Coddington, N.,
Rodenhouse, J., Wilson, A., Benko, H. and Buxton, B.:
Manual deskterity: an exploration of simultaneous pen +touch direct input, CHI ’10 Extended Abstracts on Human Factors in Computing Systems, CHI EA ’10, New
York, NY, USA, ACM, pp. 2793–2802 (online), DOI:
10.1145/1753846.1753865 (2010).
Lepinski, G. J., Grossman, T. and Fitzmaurice, G.:
The design and evaluation of multitouch marking© 2014 Information Processing Society of Japan

[6]

[7]

[8]

[9]

[10]

menus, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’10, New
York, NY, USA, ACM, pp. 2233–2242 (online), DOI:
10.1145/1753326.1753663 (2010).
Sato, T., Mamiya, H., Koike, H. and Fukuchi, K.:
PhotoelasticTouch: transparent rubbery tangible interface using an LCD and photoelasticity, Proceedings of the 22nd annual ACM symposium on Userinterface software and technology, UIST ’09, New
York, NY, USA, ACM, pp. 43–50 (online), DOI:
10.1145/1622176.1622185 (2009).
Siio, I. and Tsujita, H.: Mobile interaction using paperweight metaphor, Proceedings of the 19th annual ACM
symposium on User interface software and technology,
UIST ’06, New York, NY, USA, ACM, pp. 111–114 (online), DOI: 10.1145/1166253.1166271 (2006).
Sugiura, A. and Koseki, Y.: A user interface using fingerprint recognition: holding commands and data objects
on fingers, Proceedings of the 11th annual ACM symposium on User interface software and technology, UIST’98, New York, NY, USA, ACM, pp. 71–79 (online), DOI:
10.1145/288392.288575 (1998).
大江龍人 志築文太郎 福本雅朗 田中二郎坂本侑一郎：WrinkleSurface: しわを作って入力できる柔らかいマル
チタッチインタフェース，第 19 回インタラクティブシステ
ムとソフトウェアに関するワークショップ (WISS2011)，
pp. 7–12 (2011).
義樹竹岡，崇味八木，暦本純一：指先の 3 次元姿勢を検出する 3 次元マルチタッチ Z-touch，情報処理学会論文誌，Vol. 53, No. 4, pp. 1338–1348 (2012).
優 鈴木，和男三末，二郎田中：指を識別するタッチイ
ンタフェース向けインタラクション手法の検討，情報処理学会研究報告. HCI, ヒューマンコンピュータインタラ
クション研究会報告， Vol. 2011, No. 4, pp. 1–6 (2011).

404