WISS 2020

スマートフォン背面の人差し指を用いた片手操作向け入力拡張手法の検討
清 佑輔 ∗

舩越 南斗 †

志築 文太郎 ‡概要. スマートフォンを片手にて使用する際は複数本の指を用いたタッチジェスチャが難しいため，両手使用時に比べてタッチ入力の種類が少なくなる．また，スマートフォンへの入力は主にタッチスクリーン上にて行われるタッチ入力であるため，タッチする指および手によってスクリーン上のコンテンツが遮られる可能性がある．これらの課題に対して，指による操作範囲を背面に拡張することにより，片手かつスクリーンを遮らない操作が可能である．本研究では，スマートフォン背面の空中における人差し指のジェスチャを認識するシステム，および，人差し指による背面へのタップの位置を判別するシステムを作製する．
それぞれのシステムを用いて，スマートフォンを片手にて使用する際の入力の種類および入力領域の拡張を試みる．これらのシステムにおいて，背面における操作はスマートフォンに内蔵されたセンサのみを用いて認識される．

1

はじめにタッチスクリーンを備えたモバイル端末であるスマートフォンは，タップやスワイプなどのタッチジェスチャを用いて操作される．さらに，複数本の指によるタッチを検知できるマルチタッチスクリーンを搭載することにより，ユーザはマルチタッチジェスチャを用いて操作できる．特に，ピンチインおよびピンチアウトは，文書，画像および地図といったコンテンツを閲覧する際に，拡大および縮小の操作として実行される．ただし，片手にてスマートフォンを持ち，スマートフォンを持った手にて操作（片手操作）する際には，マルチタッチジェスチャの実行が難しい [1]．よって，片手操作時においては，両手にて使用する際に比べて，容易に実行可能なタッチ入力の種類は少なくなる．また，スマートフォンへの入力は主にタッチスクリーン上にて行われるタッチ入力であるため，タッチする指および手によってスクリーン上のコンテンツが遮られるという課題がある [10, 12]．これらの課題を解決するために，スマートフォンにおける入力の種類および入力領域の拡張が求められている．
スマートフォンにおける入力を拡張する手法として，これまでに背面における操作を可能にする手法が研究されてきた [2, 7, 9, 10, 13]．これらの手法は指による操作範囲を背面に拡張することにより，片手かつスクリーンを遮らずに実行可能な操作を実現している．これらの手法と同様に，我々は，スマー
トフォン背面における人差し指を用いた入力拡張手
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
筑波大学情報理工学位プログラム†
筑波大学コンピュータサイエンス専攻‡
筑波大学システム情報系法を研究してきた [5, 6, 14]．他の指と比べて動かせる領域が広いため，背面における複雑な操作に対して，人差し指が適していることは先行研究にて指摘されている [4]．そのため，端末背面の広い領域にて人差し指による操作を認識することによって，複数の入力が実行可能になることが期待される．
我々はこれまでに 2 種類の入力法を考案した [5, 6,14]．考案した入力法は，人差し指の状態と親指タッチジェスチャの組み合わせによる入力および人差し指のジェスチャを用いた入力である．これらの手法
は，片手操作時における人差し指による入力領域を端末背面および背面周辺に拡張した．ただし，指輪型デバイスを装着する必要があることおよび実行可能なジェスチャの種類が少ないことが課題である．

2目的とアプローチ

本研究の目的は，スマートフォンの片手操作時における入力の種類を増やすことおよび入力領域を拡張することである．特に，追加のデバイスを装着することなく実行可能な操作を実現するため，人差し指によって実行される複数の種類のジェスチャを，スマートフォンに内蔵されたセンサのみを用いて認識することを目標とする．
本研究では，2 種類のシステムを作製する．1 つ目はスマートフォンの背面カメラを用いて，空中における人差し指のジェスチャ（図 1a）を認識するシステムである．また，2 つ目はスマートフォンに内蔵された慣性計測センサ（IMU センサ）を用いて，人差し指による背面へのタップ（背面タップ）の位置（図 1b）を判別するシステムである．それぞれを用いて，スマートフォンの片手操作時における入力の種類および入力領域の拡張を試みる．

WISS 2020ab

図 1. 片手操作時のスマートフォンへの入力を拡張する 2 つの入力法．a）空中における人差し指のジェスチャによる入力．
b）人差し指による背面タップの位置に応じた入力．

3

関連研究

本研究は，空中における人差し指のジェスチャおよび人差し指による背面タップの位置を認識することにより，スマートフォン片手操作時の入力の拡張を目的とする．本節では背面における操作を可能にする手法に関する事例を挙げ，本研究を位置付ける．
さらに，スマートフォンのカメラを用いたジェスチャの認識に基づく操作手法に関する事例を挙げ，本研究を位置付ける．

3.1

背面における操作を可能にする手法

CamTrackPoint [10] は，3D プリントされたリングをスマートフォン背面のカメラ上に取り付けたインタフェースである．このインタフェースは，カメラを用いて認識されたリングに対する人差し指の動作によって操作される．Hakoda ら [2] は，スマートフォンの背面にフォトリフレクタを埋め込んだ穴を配置し，人差し指にてその穴を覆う操作を可能にした．LensGesture [9] はスマートフォン背面のカメラを覆う操作を認識する．このアプローチを用いて，システムはカメラ上における人差し指によるスワイプジェスチャも認識可能である．Seipp とDevlin [7] は，人差し指，中指，および親指を用いてスマートフォン背面および側面を叩く操作を認識する手法を示した．叩く操作の認識には，スマートフォンに内蔵されたマイクとジャイロセンサを用いる．BeyondTouch [13] は，加速度センサおよびジャイロセンサを用いて，片手操作時の背面における人差し指のタップ，人差し指のスワイプ，親指のタップを識別する．また，背面タップの認識には加速度センサおよびジャイロセンサに加えて，スマートフォンに内蔵されたマイクを使用する．
これらの手法は，指にて操作可能な範囲を背面に拡張することにより，片手かつスクリーンを遮らない操作を実現している．我々は，これらの手法と同様な背面における操作を可能にする手法として，スマートフォン背面における人差し指を用いた入力拡張手法を研究してきた [5, 6, 14]．これらの研究において，2 種類の入力法として，人差し指の状態と親指タッチジェスチャの組み合わせによる入力および人差し指のジェスチャを用いたジェスチャ入力を考案している．また，スマートフォンと加速度センサおよびジャイロセンサを搭載した指輪型デバイスを用いた入力法の実装を行っている．これらの手法
は，片手操作時における人差し指による入力領域を背面および背面周辺に拡張する一方で，指輪型デバイスを装着する必要がある．また，実行可能なジェスチャの種類が少ないという課題がある．本研究では，スマートフォンに内蔵されたセンサのみを使用して，人差し指による複数種類の操作を可能にすることを目標とする．

3.2

スマートフォンのカメラを用いたジェスチャの認識に基づく操作手法

Song ら [8] は，既製品のスマートフォンに備え付けられたカメラを用いて，手のジェスチャを認識するアルゴリズムを提案した．さらに，このアルゴリズムを用いて既存のタッチジェスチャに空中ジェスチャを組み合わせるアプリケーションを示した．Ishii ら [3]は，スマートフォンを用いたバーチャルリアリティ環境向けのターゲット選択手法である FistPointerを提案している．この手法において，ポインタは背面カメラにて撮影した手の位置に応じて表示される．
また，ユーザは手のジェスチャによりターゲットの選択が可能である．HandSee [12] は，直角プリズムミラーを取り付けたフロントカメラを用いるセンシング技術である．この技術は，スマートフォンのタッチスクリーン周辺とタッチスクリーンを撮影することにより，スマートフォンを持つ手およびタッチする手の状態の認識を可能にした．Yang ら [11]は，スマートフォンのカメラに 360 度撮影可能なレンズを取り付けている．これにより，スマートフォン周囲における手の認識と空中ジェスチャの認識を可能にしている．
これらの手法はスマートフォンに内蔵されたカメラを用いて，スマートフォン周辺にて実行される手のジェスチャの認識を可能にしている．本研究では，

スマートフォン背面の人差し指を用いた片手操作向け入力拡張手法の検討

縮小

指を離す
ジェスチャ

拡大

指を曲げる
ジェスチャ

図 2. 地図アプリケーションにおける操作に入力法 1 を応用した例．指を曲げるジェスチャまたは指を離す
ジェスチャに応じて地図を拡大または縮小することができる．

これらの手法と同様に，スマートフォンのカメラを用いて人差し指の空中ジェスチャを認識する．人差し指の空中ジェスチャを入力に用いることにより，スマートフォンの片手操作時における入力の拡張を検討する．

提案手法

4

我々は，スマートフォンに内蔵されたセンサのみを用いた，片手操作時の入力を拡張する手法の実現を目的としている．この目的を達成する手法の候補として，次の 2 つの入力法を考案した．
入力法 1 空中における人差し指のジェスチャによる入力
入力法 2 人差し指による背面タップの位置に応じた入力
本節ではそれぞれの入力法および応用例を述べる．

4.1

入力法 1：空中における人差し指のジェスチャによる入力

入力法 1 として，スマートフォン背面の空中において実行された人差し指のジェスチャによる入力法（図 1a）を検討する．この入力法においてジェスチャは背面カメラにて撮影された人差し指の画像から認識される．ジェスチャの認識には，スマートフォンの背面カメラのみが利用されるため，追加のデバイスを必要としない．また，空中にて実行される人差し指のジェスチャを入力に使用することにより，端末背面の周辺における操作を可能にする．
入力法 1 の応用例として，地図アプリケーションにおける操作を挙げる（図 2）．ユーザは人差し指前のコンテンツ次のコンテンツ

図 3. スクリーンに表示されるコンテンツを変更する操作に入力法 2 を応用した例．背面タップの位置に応じて異なるコンテンツに変更される．

を曲げるジェスチャを実行することにより，地図を拡大することができる．また，人差し指をスマートフォンから離すジェスチャを実行することにより，地図を縮小することができる．地図アプリケーショ
ンにおける拡大および縮小の操作は，通常タッチスクリーン上にて実行されるピンチアウトおよびピンチインのジェスチャに割り当てられる．ただし，これらのジェスチャは実行する際に複数の指を必要とするため，片手操作時においては実行が難しい．一方で，入力法 1 を利用した操作は，片手操作時においてスマートフォンの持ち方を変えることなく実行可能である．

4.2

入力法 2：人差し指による背面タップの位置に応じた入力

入力法 2 として，スマートフォン背面上において実行された人差し指のタップの位置に応じた入力法（図 1b）を検討する．この入力法において背面タップの位置はスマートフォン内蔵の IMU センサを用いて判別される．背面タップの位置の判別には，スマートフォンに内蔵されたセンサのみが利用される
ため，追加のデバイスを必要としない．また，背面タップの位置を入力に利用することにより，端末背面上にて実行可能な操作の種類を拡張する．
入力法 2 の応用例として，スクリーンに表示されるコンテンツを変更する操作を挙げる（図 3）．このコンテンツの変更は，画像管理アプリケーション
において表示する画像を切り替える際や使用するアプリケーションを変更する際などに行われる．入力
法 2 を用いることにより，背面タップの位置に応じて異なるコンテンツに変更することが可能である．
この操作はタッチスクリーンに対するタッチジェスチャを必要としないため，指によってコンテンツが遮られない．よって，ユーザは変更操作の後，表示されているコンテンツをすぐに閲覧できる．

WISS 2020
画像処理

背面カメラにて画像を撮影

人差し指の領域を含む 2 値画像を得る

状態 2状態 3

端末上方向に伸ばしている状態

端末から離している状態

手前に折り曲げている状態

面積および頂点を用いて状態を認識

図 4. スマートフォン背面の空中における人差し指の状態を認識する流れ．

試作システム5状態 1

図 5. 現状の試作システムにおいて認識可能な 3 種類の人差し指の状態．
状態 1

スマートフォンを用いて入力法 1 および入力法 2を実装した試作システムを作製した．本節では，試作システムの実装環境，入力法 1 および入力法 2 の実装を述べる．

5.1

状態 2

指を離す
ジェスチャ

実装環境

本システムにおいては，スマートフォンとしてSamsung Galaxy S7 edge（Android 8.0.0）を用

状態 1

いた．このスマートフォンの背面カメラは背面上部の中央に配置されている．入力法 1 の実装のため，画像処理ライブラリとして OpenCV（バージョン4.3.0）を使用する．入力法 2 において，本システムは，このスマートフォンに内蔵された IMU センサを用いて取得される，3 軸加速度および 3 軸角速度を使用する．

5.2

入力法 1 の実装

スマートフォン背面の空中における人差し指のジェスチャを認識するため，本システムは人差し指の状態を認識する．人差し指の状態を認識する流れを図4 に示す．人差し指の状態を認識するため，システ
ムはまず背面カメラを用いて指を含む画像を取得する．次に，取得した画像から人差し指の領域を抽出して，2 値画像に変換する．この変換には OpenCVの inRange 関数を使用する．inRange 関数は，画像内における指定された色範囲内の画素を抽出する．
この抽出された画素を白色，それ以外の画素を黒色に表現することにより，2 値画像が得られる．肌の色を含む色範囲を指定することにより，システムは人差し指の領域が白色にて表現された 2 値画像を出力する．現状の実装では著者 1 名の肌の色に合わせて，色範囲のパラメータを指定している．なお，本システムにおいては，2 値画像内において最も大きい白色領域を人差し指の領域としている．
本システムは人差し指の状態として，図 5 に示す
端末上方向に伸ばしている状態（状態 1），端末から離している状態（状態 2），および，手前に折り曲げている状態（状態 3）の 3 種類を認識する．これらの状態について，2 値画像内の人差し指の領域

状態 3

指を曲げる
ジェスチャ

図 6. 現状の試作システムにおいて認識可能な 2 種類の空中ジェスチャ．

が占める面積の割合は状態 1，状態 2，状態 3 の順に小さくなる．また，2 値画像における人差し指の領域の頂点は状態 1，状態 2，状態 3 の順に低くなる．そのため，システムは 2 値画像中の人差し指の領域の面積および頂点の位置から人差し指の状態を判断する．本システムは，状態 1 をトリガとする人差し指の状態の遷移を空中ジェスチャ（図 6）として認識する．状態 1 から状態 2 への遷移が指を離すジェスチャ，状態 1 から状態 3 への遷移が指を曲げるジェスチャとして認識される．

5.3

入力法 2 の実装

入力法 2 において，本システムはまず背面タップの認識を行う．背面タップの認識を実装するため，背面タップが実行された際の加速度を計測した．その結果から，背面タップ時において，スクリーンに垂直な方向を軸とする加速度が大きく変動することがわかった．よって，本システムは，スマートフォンに内蔵された IMU センサより得られる加速度をスマートフォン背面の人差し指を用いた片手操作向け入力拡張手法の検討

背面タップが行われたかを認識した．

今後の課題

6

本節では，2 種類の入力法の今後の課題を述べる．
端末背面左側へのタップ

入力法 1

6.1

端末背面右側へのタップ

現状の試作システムは肌の色の領域を抽出する際に外部環境の影響を受ける．これは指定する色範囲内の色の物体が背景に存在する場合，システムが誤認識するためである．また，環境光によって，背面カメラにて撮影される指の色が異なるため，正確に肌の色の領域が抽出できない場合がある．今後は，ジェスチャを認識する手法の改良のため，より外部環境の影響が少ない肌の色の領域抽出方法の調査を進めていく．
また，入力法 1 においては，ジェスチャの実行可能な位置がスマートフォンの機種によって異なる可能性がある．これは，ジェスチャを認識するために人差し指を撮影する背面カメラの位置が，スマートフォンの機種によって異なるためである．この背面カメラの位置による影響を軽減するため，実装方法の変更または着脱可能な広角レンズの使用を検討している．
さらに，現状のシステムにおいて認識可能なジェスチャの種類が少ないため，利用可能なジェスチャを追加していく．例えば，空中におけるスワイプジェスチャや，四角形や三角形，円形といった特定の形状をなぞるようなジェスチャなどを追加する予定である．また，これらの追加したジェスチャおよび既存のジェスチャについて，ユーザスタディにて認識精度の調査を行う．

図 7. 背面タップの衝撃によるスマートフォンの振動の概観．背面タップの位置によって振動方向が異なる．

用いて背面タップを認識する．
本システムは，背面タップを認識した後に，そのタップされた位置を判別する．現状のシステムは背面タップの位置を端末背面左側または端末背面右側の 2 種類に分類する．この分類のため，背面タップの衝撃によるスマートフォンの振動に注目した（図7）．端末背面左側が背面タップされた場合，端末右側にて上方向の振動が起こる．また，端末背面右側が背面タップされた場合，端末左側にて上方向の振動が起こる．つまり，背面タップの位置によって振動する方向が異なる．
これに基づき，スマートフォンに内蔵された IMUセンサを用いて，背面タップ時の角速度のサンプルを取得した．50 Hz にて取得したサンプルの内，一般的な傾向を有するものの一部を図 8 に示す．取得したサンプルから，背面タップ時前後のロール角回転に異なる特徴が現れることが分かった．以上のこと
から，現状の試作システムにおいて，背面タップの位置は，背面タップ時およびその前後におけるロール角回転の最大値および最小値に基づいて判断される．
本システムにおいて，背面タップの認識および背面タップの位置の判別には，閾値を用いている．この閾値は，著者 1 名が端末背面左側または端末背面右側にてそれぞれ 10 回の背面タップを行った際に計測した加速度および角速度に基づく．なお，計測時においては，スマートフォン背面に取り付けた静電容量式のタッチセンサ用いることにより，実際に入力法 2

6.2

現状の実装において，ユーザの操作によっては背面タップが正しく認識されない可能性がある．特に，スマートフォンを大きく動かしながら背面タップした場合，誤認識することがある．これは，背面タップの認識に加速度のみが用いられることが原因と考
ピッチ角1
端末背面右側へのタップ時

端末背面左側へのタップ時
0.80.80.60.60.40.40.20.200123456791011121234567

ヨー角89101112-0.2-0.2-0.4-0.4-0.68

ロール角

タップの瞬間タップの瞬間図 8. 背面タップ時の角速度のサンプルの一部．背面タップの位置によって，背面タップ時前後のロール角回転に異なる特徴が現れている．

WISS 2020

えられる．背面タップの位置の判別においても角加速度のみが用いられるため，スマートフォンを大きく動かしながら背面タップした際に精度が低くなる．
より堅牢なシステムを実現するため，背面タップ時における加速度および角加速度の傾向を調査していく．また，先行研究 [7, 13] における背面タップ認識の実装に倣って，IMU センサに加えてマイクの利用を検討する．
さらに，認識可能な背面タップの位置を追加していく．特に，3 種類以上の背面タップの位置が認識できるようにシステムを改良する．また，ユーザスタディにて，背面タップの位置の認識精度の調査を行う．

7

おわりに片手操作時のスマートフォン背面における人差し指を用いた入力拡張手法として，空中における人差し指のジェスチャによる入力および人差し指による背面タップの位置に応じた入力の 2 つの入力法を示した．それぞれの手法を実現するために，スマートフォンの背面カメラおよび内蔵された IMU センサを使用したシステムを試作した．今後は，入力法 1において，ジェスチャを認識する手法の改良，利用可能なジェスチャの追加，およびジェスチャの認識精度の調査を行う．また，入力法 2 において，背面タップの認識手法および背面タップ位置の判別手法の改良を行う．さらに，判別可能な背面タップ位置を追加し，背面タップ位置の判別精度の調査をする．

参考文献[1] S. Boring, D. Ledo, X. A. Chen, N. Marquardt,A. Tang, and S. Greenberg. The Fat Thumb:Using the Thumb’s Contact Size for SingleHanded Mobile Interaction. In MobileHCI ’12,pp. 39–48. ACM.
[2] H. Hakoda, Y. Fukatsu, B. Shizuki, andJ. Tanaka. Back-of-Device Interaction Based on
the Range of Motion of the Index Finger. In
OzCHI ’15, pp. 202–206. ACM.
[3] A. Ishii, T. Adachi, K. Shima, S. Nakamae,
B. Shizuki, and S. Takahashi. FistPointer: Target Selection Technique Using Mid-Air Interaction for Mobile VR Environment. In CHI EA’17, p. 474. ACM.
[4] H. V. Le, S. Mayer, P. Bader, and N. Henze.
Fingers’ Range and Comfortable Area for OneHanded Smartphone Interaction Beyond theTouchscreen. In CHI ’18, pp. 1–12. ACM.
[5] Y. Sei, M. Funakoshi, and B. Shizuki. Expanding Input Vocabulary Using Index Finger on andAbove Back of Smartphone. In AsianCHI ’20,p. 6. ACM.
[6] Y. Sei, M. Funakoshi, and B. Shizuki. Expanding One-Handed Touch Input Vocabulary UsingIndex Finger on and Above Back-of-Device. In
OzCHI ’19, pp. 585–589. ACM.
[7] K. Seipp and K. Devlin. BackPat: One-Handedoﬀ-Screen Patting Gestures. In MobileHCI ’14,pp. 77–80. ACM.
[8] J. Song, G. Sörös, F. Pece, S. R. Fanello,
S. Izadi, C. Keskin, and O. Hilliges. In-air Gestures Around Unmodiﬁed Mobile Devices. In
UIST ’14, pp. 319–329. ACM.
[9] X. Xiao, T. Han, and J. Wang. LensGesture:
Augmenting Mobile Interactions with Back-ofDevice Finger Gestures. In ICMI ’13, pp. 287–294. ACM.
[10] W. Yamada, H. Manabe, and D. Ikeda. CamTrackPoint: Camera-Based Pointing Stick Using Transmitted Light Through Finger. InUIST ’18, pp. 313–320. ACM.
[11] X.-D. Yang, K. Hasan, N. Bruce, and P. Irani.
Surround-See: Enabling Peripheral Vision onSmartphones during Active Use. In UIST ’13,pp. 291–300. ACM.
[12] C. Yu, X. Wei, S. Vachher, Y. Qin, C. Liang,Y. Weng, Y. Gu, and Y. Shi. HandSee: Enabling Full Hand Interaction on Smartphonewith Front Camera-based Stereo Vision. In CHI’19, pp. 705:1–705:13. ACM.
[13] C. Zhang, A. Guo, D. Zhang, C. Southern,R. Arriaga, and G. Abowd. BeyondTouch: Extending the Input Language with Built-in Sensors on Commodity Smartphones. In IUI ’15,
pp. 67–77. ACM.
[14] 清 佑輔, 舩越 南斗, 志築 文太郎. 片手操作時の端末背面における人差し指を用いたタッチ入力拡張手法の提案. WISS2019. 日本ソフトウェア科学会.