情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B292016/3/3

携帯端末の背面空間におけるハンドジェスチャによるポインティング手法
阿達 拓也1,a)

志築 文太郎2,b)

田中 二郎2,c)

概要：スマートフォン等の携帯情報端末において，画面内のアイコンの選択はタッチにより行われる．しかしタッチによる選択は指による遮蔽が生じるため，タッチするアイコンは大きくなければならない．我々は，携帯情報端末の背面空間におけるハンドジェスチャによるポインティング手法を示す．提案手法により，小さなアイコンを選択し分けることが容易になるとともに，GUI 設計においてより小さなアイコンを使用することが可能となる．

Pointing Technique by In-air Hand Gestures
around the Back of Mobile Devices
Takuya Adachi1,a)Buntarou Shizuki2,b)Jiro Tanaka2,c)Abstract: On mobile devices such as smartphones, selecting an icon is usually conducted by a touch. However, selecting by a touch can cause occlusion. Therefore touch icons must be designed largely. We propose
pointing technique by in-air hand gestures around the back of mobile devices. By using the proposed technique, developers can design smaller icons and users can select small icons.

1. はじめによるポインティング手法を示す（図 1）．本手法は，内蔵カメラにより検出した手の位置に応じて画面上にポインタスマートフォン等の，タッチスクリーンを持つ携帯情報を表示する．ユーザはこのポインタにより選択対象が明確端末（以降，携帯端末）の操作に用いられるタッチ操作は，にわかるため，小さなアイコンを選択し分けることが容易

指による遮蔽が生じるため，小さなアイコンを選択し分けとなる．ポインティングに用いられる手の姿勢を図 2 に示ることが困難である [1]．したがってアイコンは大きくなす．ユーザは図 2a に示される姿勢にてポインタを動かし，ければならない．Google によると，アイコンなどのタッ

図 2b に示されるように親指を下げることによりクリック

チ操作のターゲットの幅および高さを 7 mm 以上とし，かを行う．

つターゲット間に余白を設けるべきであるとしている *1 ．
我々は，小さなアイコンを選択し分けられるようにする
ための，携帯端末の背面空間におけるハンドジェスチャに12a)b)c)*1

筑波大学情報学群情報メディア創成学類
College of Media, Arts, Science and Technology, School ofInformatics, University of Tsukuba
筑波大学システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukubaadachi@iplab.cs.tsukuba.ac.jp
shizuki@iplab.cs.tsukuba.ac.jp
jiro@iplab.cs.tsukuba.ac.jp
https://www.google.com/design/spec/layout/metricskeylines.html© 2016 Information Processing Society of Japan

2. 関連研究
これまでにも携帯端末の内蔵カメラを用いて検出した
手，指に基づく操作手法が研究されてきた．Baldauf ら [2]は，検出した指先の位置によりポインティングを行うインタフェースを提案した．この研究では，クリック動作の実装方法を述べていないが，我々はこの研究とは異なる手の姿勢にてポインティングを行いクリック動作も実装している．Lv ら [3] は検出した指の方向により独自の GUI を操作する手法を示しているが，本研究は指の方向ではなく，

588

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B292016/3/3

3.1 手の検出
まず RGB 画像の各画素が手に相当するか否かを決定する．これには各画素に対して Song ら [4] の式 (1) を適用することとした．

1 (min(R(u) − G(u), R(u) − B(u)) > τ )S(u) =
0 (otherwise)(1)
R(u)，G(u)，B(u) はそれぞれ座標 u にある画素の RGB
図 1

携帯端末の背面空間におけるハンドジェスチャによるポイン値であり，τ は閾値である．結果として S(u) は，座標 u がティング手に相当する場合には 1，それ以外の場合には 0 となる．

Fig. 1 Pointing by in-air hand gestures around the back ofmobile devices.

次に各 y 座標において S(u) = 1 となる画素群のうちもっとも幅のあるものを手とする．これにより，手の幅より小さなノイズを除去することが可能である．なおユーザは肌abの色や環境光に応じて τ を調整する必要がある．ただし閾
値は 1 つのみであるため，調整は容易である．

3.2 ポインタの座標の決定
本手法ではクリック動作の際にポインタが動かないようにするために，親指の動きに影響を受けない位置である手の右上（図 3 に赤い丸で示されている位置）をポインタと
図 2

本手法に用いられる手の姿勢

Fig. 2 Hand postures used in our technique

して選んだ．ここで，ポインタの座標を (xp , yp ) とする．
まず，yp を先に求め，次に yp を基に xp を求める．

yp の求め方を述べる．最初に，各 y 座標における手の幅を求める．次に y 座標 i において，i を含む直前の 9 つの手の 2 次元座標を利用するためこの研究とは異なる．Songy 座標における手の幅の回帰直線の傾きを求める（図 4）．

ら [4] はカメラで検出した空中における手のジェスチャにこの回帰直線の傾きを指先以降のすべての y 座標に対してよる操作を提案した．この研究はジェスチャを特定の動作求める．各 y 座標における手の幅をヒストグラムで，回帰の起動および補助に用いているが，我々の研究ではポイン直線の傾きを折れ線グラフで表すと図 5 のようになる．こティングおよびクリックの判定に用いる．の図から，親指の先および親指の付け根において傾きが大また，携帯端末に外部機器を取り付けてポインティングきくなっていることがわかる．特に，親指の付け根は親指を行う研究もなされている．新倉ら [5] はハイスピードカの先と比べても傾きが大きい．そこで，親指の指先より大メラと赤外線 LED を用いて指を追跡している．一方我々

きい回帰直線の傾きのピークを見つけ，そこを yp とした．の研究では内蔵カメラのみを用いる．

xp は yp における手の右端とした．

HMD および Web カメラを用いてポインティングを検

ポインタの座標を決めるために手の幅を利用すること，出する研究もなされてきた．例えば，杉浦ら [6] は，指先およびクリックの判定のために親指を検出する必要があるで仮想ボタンをクリックする研究を行った．加藤ら [7] は，ことから，カメラ画像には手全体が映っていなければなら

指によるポインティングとマウスによるポインティングのない．これにより手が移動できる範囲が限られるため，ポターゲット選択の速さを比較する実験を行った．我々の研インタの座標の取りうる値の範囲は実際のカメラ画像のサ究では，携帯端末において内蔵カメラによりポインティンイズより狭くなる．そこで，図 6 の黄色の矩形領域内のポグを検出する．

インタの座標が操作領域に写像されるようにした．写像後

3. 実装
本手法は，内蔵カメラから得た RGB 画像（今回は 320×240ピクセル）中の手を検出した後，その形状からポインタの座標の決定およびクリックの判定を行う．なお，我々が今回の実装に用いた携帯端末は ELUGA P-03E（OS：Androidの座標 (x′p , yp′ ) はそれぞれ式 (2)，(3) と表される．


0(xp < 72)
′xp = (xp − 72) × 7.5 (72 ≤ xp ≤ 216)


1080
(xp > 216)(2)

4.2.2, タッチスクリーンサイズ：4.7 インチ）である．

© 2016 Information Processing Society of Japan589

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B292016/3/324048( ’(320144

ポインタの座標

Fig. 3 The coordinates of the pointer.

手の幅[ピクセル]

192025672

図 3’))

1080

図 6 カメラプレビューと操作領域間のポインタの位置関係

80706050403020100Fig. 6 Positional relation of the pointer between the camera
preview and the control region.

ら yp までの長さ）で割った値を扱う．この値が閾値（今回は 1.6）を超えたとき，クリックと判定する．

4. まとめと今後の課題
i-8

i-7

i-6

i-5

i-4

i-3i-2i-1

本稿では，スマートフォン向けの操作手法として，端末i座標
図 4

背面の空間におけるハンドジェスチャによるポインティン
グ手法を示した．本手法は外部機器を必要とせず内蔵カメ

y 座標 i における回帰直線（赤線）

Fig. 4 The regression line (red line) at y-coordinate i.

ラのみで実装可能である．また，本手法は小さなアイコンを選択し分けられるようにするための手法である．
今後は，本手法の選択時間と精度を調べる評価実験を行う．また，本実装においてノイズ除去は簡易的にしかなされていないため，ノイズ除去を頑強にし，アプリケーションに実装する．
参考文献
[1]

図 5 各 y 座標における手の幅（青ヒストグラム）および回帰直線の傾き（赤折れ線グラフ）[2]

Fig. 5 Hand’s width (blue histogram) and the slope of the regression line at each y-coordinate (red line graph).

yp′ =0


(yp < 48)(yp − 48) × 7.5 (48 ≤ yp ≤ 304)
1920(yp > 304)

[3]

(3)

[4]

3.3 クリックの判定
親指の座標がポインタの座標に近づいたとき，それをクリックと判定する．親指の座標は，最も上にある手の中央とした．手の大きさ，カメラまでの距離の変化に対応できるよう，yp における手の幅を親指の高さ（親指の y 座標か© 2016 Information Processing Society of Japan[5]

Siek, K. A., Rogers, Y. and Connelly, K. H.: Fat Finger
Worries: How Older and Younger Users Physically Interact with PDAs, in Proceedings of the 2005 IFIP TC13
International Conference on Human-Computer Interaction, INTERACT ’05, pp. 267–280, Berlin, Heidelberg(2005), Springer-Verlag.
Baldauf, M., Zambanini, S., Fröhlich, P. and Reichl, P.:
Markerless Visual Fingertip Detection for Natural Mobile
Device Interaction, in Proceedings of the 13th International Conference on Human Computer Interaction withMobile Devices and Services, MobileHCI ’11, pp. 539–544, New York, NY, USA (2011), ACM.
Lv, Z., Halawani, A., Lal Khan, M. S., Réhman, S. U. andLi, H.: Finger in Air: Touch-less Interaction on Smartphone, in Proceedings of the 12th International Conference on Mobile and Ubiquitous Multimedia, MUM ’13,
pp. 16:1–16:4, New York, NY, USA (2013), ACM.
Song, J., Sörös, G., Pece, F., Fanello, S. R., Izadi, S.,
Keskin, C. and Hilliges, O.: In-air Gestures Around Unmodified Mobile Devices, in Proceedings of the 27th Annual ACM Symposium on User Interface Software andTechnology, UIST ’14, pp. 319–329, New York, NY, USA(2014), ACM.
Niikura, T., Watanabe, Y., Komuro, T. and Ishikawa, M.:
In-Air finger motion interface for mobile devices with vi-590

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

[6]

[7]

162B292016/3/3

bration feedback, IEEJ Transactions on Electrical andElectronic Engineering, Vol. 9, No. 4, pp. 375–383 (2014).
Sugiura, A., Toyoura, M. and Mao, X.: A Natural Click
Interface for AR Systems with a Single Camera, in Proceedings of Graphics Interface 2014, GI ’14, pp. 67–75,
Toronto, Ont., Canada, Canada (2014), Canadian Information Processing Society.
Kato, H. and Yanagihara, H.: PACMAN UI: Vision-based
Finger Detection for Positioning and Clicking Manipulations, in Proceedings of the 15th International Conference on Human-computer Interaction with Mobile Devices and Services, MobileHCI ’13, pp. 464–467, New
York, NY, USA (2013), ACM.

© 2016 Information Processing Society of Japan591