WISS 2022

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定
張 翔∗

池松 香 †

加藤 邦拓 ‡

杉浦 裕太 ∗

概要. ユーザがスマートフォンをどのように把持しているかを検出することで，持ち方に応じて画面表示
や操作ボタンの位置を自動的に切り替えるなど，ユーザインターフェースを最適化することができる．本研
究では，スマートフォンのフロントカメラで撮影された顔写真を使用し，ユーザの角膜に反射したスマート
フォンの画面の反射像を機械学習で分類することで，把持姿勢を推定する手法である ReﬂecTouch を提案する．スマートフォンの画面は光を発するため，顔の正面方向でスマートフォンを持つと画面の反射像が角膜に映る．画面上の指を置いている部分は影となるため，その部分の角膜反射像は欠ける．その際，ス
マートフォンの持ち方によって像の欠け方が異なるため，把持姿勢の推定が可能になると考えた．本稿では，ReﬂecTouch の識別精度を検証する実験を行い，その結果や制約について議論するとともに，本手法を利用したアプリケーションを報告する．

1

はじめに

ユーザがスマートフォンがどのように把持しているか（把持姿勢）はスマートフォンの操作において重要な要素の 1 つである．先行研究 [6, 22] では，片手持ちか両手持ちか，操作する手の角度，操作に使用する指の数などの把持姿勢がスマートフォンの操作性や効率に影響を与えることを指摘しており，ユー
ザがどのようにスマートフォンを操作しているのかを推定することでスマートフォンの利便性の向上が可能となる．例えば，ユーザはスマートフォンを片手で持ち，親指で操作することが多いが [5, 11]，メ
ニューボタンなどが画面上で親指から最も遠い角の付近に配置されてしまうことがある．また，把持姿
勢に応じてソフトウェアキーボードのタップの仕方が異なる [2] ことが明らかにされている．これらに対し把持姿勢を推定することで，画面上のボタンやキーボードをユーザがタップしやすい位置に配置したり，サイズを変更したりすることが可能になる．
∗

慶應義塾大学
ヤフー株式会社‡
東京工科大学†把持姿勢を推定する手法として，静電容量センサなどのセンサを外付けする手法や [4, 25]，ジャイロ
センサなどのスマートフォンに内蔵されたセンサを使用する手法 [7, 19] が提案されている．しかしこれらの手法ではセンサを外付けする必要があり実用化
しにくいことや，推定モデルがデバイスに依存すること，推定できる把持姿勢が把持手のみなどの 3–4
種類に限られるといった，いずれかの課題があった．
本研究では，スマートフォンの内蔵フロントカメ
ラを使用してユーザの顔写真を撮影することで，図 1（右）に示す 6 つの把持姿勢を推定する手法を提案する．スマートフォンの画面は光を発するため，顔の正面方向でスマートフォンを持つと画面の反射像がユーザの角膜に映るが，画面上の指を置いている部
分は影となるため該当箇所の角膜反射像は欠け，その欠け方は把持姿勢に応じて変化する．このことを利用し，フロントカメラで撮影した顔写真から瞳の部分を切り取り，畳み込みニューラルネットワーク（CNN）を用いた機械学習モデルに瞳の領域の画像を入力することで，把持姿勢の識別を行う．13 名の実験参加者を対象にして本提案手法の精度を検証す

図 1. 把持姿勢推定の処理概要および本稿で扱う 6 種類の把持姿勢．

WISS 2022

る実験を行った結果，85%の精度で識別が可能であることを確認した．なお，本稿は EC 2021 [28] とACM CHI 2022 [27] での発表内容に議論を加筆したものである．

2
2.1

関連研究
把持姿勢の推定手法

スマートフォンの把持姿勢を推定する方法として，スマートフォンに追加のセンサやハードウェアを取り付ける方法や，内蔵されたセンサのデータを利用する方法が提案されている．センサを外付けす
るアプローチでは，小型かつ軽量な静電容量センサを用いた手法が多い [4, 13, 21, 25]．また，スマー
トフォンに取り付けたスピーカとマイクを利用する
手法 [18] や，スマートフォンのフロントカメラにプ
リズムミラーを取り付けることでステレオビジョンを実現し，奥行き情報を推定することで把持姿勢を推定する手法 [26] が提案されている．
スマートフォンの内蔵センサを利用した手法として，加速度センサやジャイロセンサといった端末の動きを計測できるセンサを利用した研究が提案されている．Goel ら [7] は内蔵バイブレータで端末を振動させ，その際の振動の特徴を加速度センサで計測することで把持姿勢を推定する手法を提案した．また，Park と Ogawa [19] は加速度センサとジャイロセンサからの情報をサポートベクタマシン（SVM）に入力することで把持姿勢を推定する手法を提案したした．Avery ら [1] はスマートフォンのロックを解除するためのパスワード入力時の端末の動きを測定することで，把持姿勢を推定する手法を開発した．
また，提案手法と同様に内蔵フロントカメラを使用して把持姿勢の推定を行った研究としては，フロン
トカメラからユーザの体のシルエットを検出し，スマートフォンとユーザの体の相対的な傾きを計測することで把持姿勢を推定する研究 [15] がある．
これらの研究では，推定可能な情報が把持手（両手・右手・左手）に限定されていたり [7, 15]，特定のタイミング（画面ロック解除時など）でしか利用できない [1] といった制約がある．提案手法は，タッ
チ操作に使用する指と把持手の検出を，顔写真が取得可能な任意のタイミングで行なうことができる上，追加のセンサやハードウェアを必要としないという利点がある．

2.2

角膜反射像の撮影と利用

角膜反射像を撮影し，コンピュータとのインタラ
クションに利用する研究が行われている．Schneider
ら [20] はユーザの正面に置かれたミラーレス一眼カ
メラを使って角膜に写ったユーザの手を撮影することでスマートフォンの周辺領域での操作を可能にする研究を行った．

また，角膜反射像を利用して視線を推定する研究も行われている [17, 23]．スマートフォンのフロン
トカメラを使って角膜反射像を撮影した研究として
は，スマートフォンのフロントカメラで角膜反射像を撮影し，瞳の中で角膜反射像がどの位置にあるかを測定することで視線推定を行う研究がある [9]．また，角膜反射像ではないが，ユーザの着用している
サングラスに反射したスマートフォンの画面とユー
ザの手をフロントカメラで撮影することでスマートフォンのインタラクションに用いる研究 [8] がある．

3

角膜反射像を利用した把持姿勢の推定

スマートフォンを操作する際，スマートフォンの画
面は光を発しているため，ユーザの角膜にはスマー
トフォンの画面の形をした角膜反射像が映る．その際に，ユーザが指を置いている部分は図 1 に示すよ
うに影となり欠ける．反射像の欠け方は持ち手や操作している指などの把持姿勢によって異なるため，
角膜反射像から把持姿勢を推定することが可能であると考えた．
図 1 に提案手法の処理の流れを示す．ユーザが画面をタップしたタイミングで，内蔵フロントカメラを使用してユーザの顔写真を取得する．次に，取得した画像からスマートフォンの画面の角膜反射像が写っている部分をクロップし，その画像を CNN モ
デルに入力することで把持姿勢の推定を行う．推定結果を利用することで把持姿勢に応じて画面表示などを最適化させることが可能となる．
一般に，スマートフォンをタッチ操作する際に，
図 1（右）のいずれかに分類される把持姿勢となる場合が多いことが知られている [6]．そのため，本研究ではこの 6 種類の把持姿勢を対象として把持姿勢の推定を行う．
本手法は，追加のセンサを必要とせずに 6 種類の把持姿勢を推定することができる上，多くのスマー
トフォンでは画面上部の位置にフロントカメラがあるため，機種の違いによる影響が小さいというメリッ
トがある．

4

実装

提案手法の実現可能性を検証するため，各把持姿
勢にてスマートフォンのフロントカメラからユーザの顔写真を収集するための iPhone アプリを実装し，アプリを用いて収集した画像を使って CNN を利用した学習モデルの実装と把持姿勢の推定を行った．

4.1

顔写真の収集

顔写真を収集するために，それぞれの把持姿勢
でスマートフォンを持った際の顔写真を撮影する
iPhone アプリを開発した．本アプリケーションでは各把持姿勢につき 12 枚，合計 72 枚を内蔵のフロン

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定

図 3. 前処理の流れ．

4.3
図 2. 顔写真収集用のアプリケーションの流れ．

トカメラを利用して撮影する．アプリケーションを起動すると，実験についての注意事項（図 2（1））が表示された後，それぞれの把持姿勢でスマートフォンを持つように指示する画面が表示される（図 2（2））．その後，撮影画面（図 2（3））が表示される．
撮影画面上には緑色の矩形領域（ターゲット）が表示され，領域内をタップした際に写真が撮影される．
6 種類全ての把持姿勢でのタップタスクが完了するとアプリケーションは終了する．なお，顔写真を撮影する際には画面が白くフラッシュするが，複数の画面輝度での顔写真収集を行なうため，ひとつの把持姿勢につき画面輝度が 100%，85%，70%の状態
でそれぞれ 4 枚づつ撮影される．

4.2

画像の前処理収集された顔写真に対して，CNN モデルの学習と識別に利用するための前処理を行った．ここでは，
図 3 に示すように顔写真から瞳をクロップし，画像の輝度やコントラストの調整，データオーグメン
テーションを行った．
まず，撮影された顔写真について，顔写真から瞳が写っている領域・瞳が写っている領域から角膜反射像がの領域まで Google の MediaPipe および
OpenCV を用いて二段階でクロップした．なお，瞳から角膜反射像をクロップする際には，角膜反射像の大きさは瞳の領域の 5–20%の大きさであると想定
し，角膜反射像である推定された領域がこの範囲外だった場合にはエラーとしてデータセットから取り除いた．その後，クロップした画像の明るさをデー
タセット全体で揃えた上で，スマートフォンの像で指の影となっている部分を強調するためにコントラストを上げた．次に，学習データとテストデータに3:1 の割合で分けた後，学習用データに対してデー
タの量を増やすためにデータオーグメンテーションを実施した．入力画像の角度や大きさの僅かな違いに対して CNN モデルが影響されないように元画像の角度やサイズをランダムに変化させた画像を生成
して学習用データに追加した．

モデルの学習前処理後の画像を用いて CNN モデルの学習を行った．モデルの実装は Python と Keras を用いた．両目（二枚）の角膜反射像は 80 × 80 にリサイズされた上で，それらを重ねて 80 × 80 × 2 の三次元テンソルとして CNN モデルに入力した．CNN モデ
ルのレイヤ図は付録の図 5 の通りである．

5

データ収集実験

提案手法の実現可能性を検証するためデータ収集
実験を行った．実験には 13 名の実験参加者が参加
し，平均年齢は 35.1 歳（標準偏差は 17.2 歳）であった．なお，性別については女性が 5 名，男性が 8 名，
利き手については右利きが 10 名，左利きが 1 名，両利きが 2 名，瞳の色については黒色が 10 名，黒茶色が 1 名，茶色が 2 名であった．

5.1

実験手順

参加者は 4.1 節のアプリケーションを使用して，それぞれの把持姿勢で画面上のターゲットをタップするタスクを実施した．なお，実験中はメガネやコンタクトレンズおよびマスクは外すように指示をした．収集する画像の画素数を揃えるために 12Mpxのフロントカメラが搭載されている iPhone 11 および iPhone 12 系の端末を使用した．また，他の光源による影響を避けるため実験は室内かつモニターなどが付近に無い環境で行うように指示した．本実験
では合計で 13 名 × 6 把持姿勢 × 12 枚 = 936 枚の画像を収集した.
収集した画像に対して 4.2 節で述べた前処理を行い，エラー画像を除いた結果 81%の画像が残った．
その後，前処理がされた画像を使って 4.3 節で述べたモデルの学習およびその精度の評価を行った．なお，データセットを学習用データとテストデータに分割する際には，それぞれの参加者のデータが両方のデータに含まれるように分割する方法（以下，全ユーザ学習）と，Leave-one-subject-out 交差検証を行う方法（以下，他ユーザ学習）の 2 種類の方法で行った．いずれの場合でも学習用データとテスト
データの割合は 3:1 とした．

WISS 2022

表 1. 全ユーザ学習，6 姿勢での個別の識別結果．

両手横持ち
両手縦持ち
左手親指
左手人差し指右手親指
右手人差し指

適合率

再現率

100%
82%
88%
85%
81%
82%

98%
86%
73%
88%
84%
87%

F1 値
99%
84%
80%
87%
82%
84%

6

転移学習を用いた把持姿勢推定

他ユーザ学習の精度は 41%と低く実用的ではな
いため，全ユーザ学習のモデルの利用が望ましい．
しかし，提案手法の実利用を検討した際，事前準備（データ収集）がユーザの負担となる可能性がある．
前節で述べた全ユーザ学習の場合，提案手法の利用の前に 72 枚の写真を取得し，学習モデルを作る必要がある． 5 節のデータ収集実験の一名あたりの所
要時間は 6 分ほどであり，これと同程度の時間を要すると予想される．
そこで，機械学習の一つの手法である転移学習を利用することで，より少ない写真数で全ユーザ学習と同程度の識別精度を実現できないかを検討した．

6.1

図 4. 全ユーザー学習での 6 姿勢の識別結果の混合行列．

5.2

結果と考察

データセットの分割方法ごとの識別精度について，
他ユーザ学習は 41%，全ユーザ学習は 85%であった．
また，全ユーザ学習での把持姿勢ごとの識別精度を
表 1 と図 4 に示す．
図 4 から，右手親指と右手人差し指，左手親指と左手人差し指の把持姿勢が混同されやすいことがわかる．提案手法では，スマートフォンの画面の角膜
反射像のうち指に隠れている部分を特徴として把持姿勢推定を行っているが，人差し指と親指のどちらの指で操作するかについては角膜反射像での指の部分の欠け方に大きな影響を及ぼさないため，混同をしてしまったと考えられる．
データの分割方法に着目した際，他ユーザ学習は
全ユーザ学習と比べて精度が大幅に低下した．これは，スマートフォンを持つ位置や撮影する環境などに加え，ユーザごとのスマートフォンの使い方の違い，瞳の色や光の反射の仕方などの生物学的な個人差が影響したと予想される．
また，手の大きさや指の太さの個人差も親指と人差し指を混同や他ユーザ学習における精度低下の原因の 1 つとなりうる．

実験手順

この実験は前節で収集した画像を利用した．実験の流れを図 6 に示す．まず，13 名のデータの中から 12 名分の参加者のデータを使って前章と同様の学習モデル（1）を作成する．次に学習モデルの作成に用いなかった 1 名のデータを使って転移学習を行い新しい学習モデル（2）を作成する．転移学習
では 12 名のデータを使って作成された学習モデル（1）をベースにして，一部のレイヤをリセットした
上で残りの 1 名のデータを用いて再学習を行った．
なお，その他の層についてはパラメータを固定し，再学習を行わないようにした．画像枚数に応じたモ
デル精度の変化を調べるため，転移学習に使用した
画像の枚数を把持姿勢ごとに 1 枚から 7 枚まで 1 枚ずつ増やしつつ，各枚数条件でモデルを作成し精度を検証した．上述の処理を，転移学習に使用する参加者のデータを入れ替えて 13 名分行い，識別精度の平均値を計算して最終的な結果とした．

6.2

結果と考察

識別結果を図 7 に示す．把持姿勢あたりの再学習に使用した画像数に着目すると，把持姿勢ごとの画像数が 1 枚から 4 枚までの間は識別精度が 20%上がったのに対して，4 枚から 7 枚までの間の識別精度の向上は 4%のみとなった．また，画像数が多くなると精度が全ユーザ検証での精度に近づく．
この転移学習の手法を利用する場合，把持姿勢ごとに 4 枚の画像を用いると 76%の精度を得ることができる．全ユーザ学習の精度より 9%低く，実利用を考えると十分な精度とは言い難いものの，撮影する顔写真の枚数は全ユーザ学習の 1/3 となるため，導入のための所要時間は 2 分程度に短縮できる．また，転移学習の場合，すでに学習されたモデルが用意されていれば 1 人分のデータを学習するだけであるので，計算コストが低くなり，モデルの学習に必要な処理時間も短くなる．

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定

図 5. CNN モデルのレイヤ図．

図 6. 転移学習を用いた把持姿勢推定の実験の概要．

図 7. 転移学習の結果．

7

応用例

把持姿勢を推定することで，画面上の表示コンテンツや操作ボタンの位置をユーザの把持姿勢に合わせて自動で変更するユーザインタフェースを実現できる．一般に，画面上の操作しやすい領域はユーザの把持姿勢によって異なり [24]，特に，画面サイズの大きいスマートフォンではボタンなどの位置がア
プリの使いやすさに与える影響は大きいと考えられる．例えば図 8（1）は，ユーザが両手を使ってス
マートフォンを操作している際，荷物を持つため一方の手がふさがり，片手での操作に切り替わった場
合の例である．把持姿勢の切り替わりを検出することで，GUI を片手で操作しやすい位置に自動で再配置することができる．
図 8（2）は GUI の自動再配置をソフトウェアキー
ボードに適用した例である．スマートフォンを両手持ちから片手持ちに切り替えた際に，キーボードを
画面片側に寄せることでキーを入力しやすくしている．この他に，両手持ちの場合には QWERTY 配列のキーボードを使用し，片手持ちに切り替わったことが検知された場合には，フリック入力のキーボー
ドに切り替えるなどの応用が可能である．
また先行研究 [3] によると，スマートフォンの長時間の利用によって手指に痛みや痺れが生じるなど

図 8. 把持姿勢推定を用いた応用例．

の影響がある．そのため，ユーザの把持姿勢を記録
し，長時間同じ姿勢での操作が続いた際に，通知を表示し持ち方変えるよう促すことで，これらの疾患を予防できると期待される（図 8（3））．
さらに角膜反射像を使った本手法の将来的な応用
例として，手のひらや指の関節で画面をタップした
際に画面が手に覆われる面積が大きくなることの利用が考えられる．先行研究 [14, 10, 12] でも提案されているタップした手の部位に応じたインタラクショ
ンや HandSee [26] で提案されているような画面上の空中でのジェスチャを識別することができると期
待される．

8
8.1

議論
バッテリーの消費とプライバシーの保護提案手法では，把持姿勢の推定のたびにスマート
フォンのフロントカメラによる撮影を自動で行うた

WISS 2022

め，バッテリーを多く消費してしまう上，プライバ
シーに対する懸念が生じる．把持姿勢の推定回数を減らすことで，これらの課題に対処できると考える．
具体的には，スマートフォンのロックを解除した際や，アプリを起動した際，キーボードを表示した際など，把持姿勢が変わりやすいタイミングでの推定や，端末の角度が大きく変化したタイミングでの推定を検討している．また，現状の実装では，把持姿
勢推定時に撮影した顔写真をサーバにアップロード
し，サーバ上で角膜反射像部分をクロップと把持姿勢の推定している．個人識別のリスクを減らすため，
これらの処理をスマートフォン内で完結させるなどの改善を検討する必要がある．

8.2

複数の手法を組み合わせた把持姿勢推定

より高い精度で把持姿勢の推定を行うためには，複数の推定手法を組み合わせることが有効であると考えられる．例えば 5.2 節で述べたように，提案手法では親指操作（図 1b,c）と人差し指操作（図 1e,f）の識別が混同されやすいという結果が得られた．
（図b,c）および（図 e,f）はいずれも指の向きは同一であるが，スマートフォンの把持手が異なる．
そのため，把持手の検出を高精度に行える手法（例
えば，HandyTrak [15] など）と組み合わせることで，この課題を解決できる可能性があると考えられる．HandyTrak の手法は，推定できる把持姿勢が 3
種類のみであるものの，スマートフォンの持ち手を高精度で推定可能であり，かつ単一のセンサ（カメラ）のみを使用するため，提案手法と併用すること
で把持姿勢の識別精度の改善が可能だと考えられる．
一方，本手法や HandyTrak [15] など，フロント
カメラを使用した識別手法の場合，太陽光など強い光の当たる環境や，明かりがなく極端に暗い環境な
どでは，顔や体を適切に撮影することが困難になる．
こうした場合には，環境光の影響を受けないジャイ
ロセンサや加速度センサを使った手法 [1, 7, 16] や，
タッチセンサを使った手法 [7, 16] などを利用することが有効になる．ユーザを取り巻く環境やユーザの姿勢を推定し，これらの手法を適切に切り替える
ことで，様々な状況下における高精度での把持姿勢の推定が可能となる．

8.3

メガネ・コンタクトレンズ着用の影響

5 節では，メガネやコンタクトレンズによるスマー
トフォンの画面の光や環境光の反射を考慮し，実験参加者にそれらを外すよう指示した上で実験を行った．本節では実際にメガネ・コンタクトレンズの着用が，提案手法の推定精度に及ぼす影響について検証を行った．実験はメガネを装着した参加者 9 名，
およびコンタクトレンズを装着した参加者 6 名に対して，5 節と同様の流れで実施した．なお，この本
実験で使用したアプリは 4.1 節のアプリを改良し，

図 9. （左）裸眼の場合，（右）メガネ（ブルーライトカットのレンズ）を装着した場合の例．

タップ入力ごとにターゲットの位置をランダムに変更する，撮影画面のカメラの映像を非表示するなどの変更を加えたものを使用した．実験結果は，メガネを装着していた場合の識別精度が 24%，コンタク
トレンズを装着していた場合の識別精度が 64%となった．実験条件が異なるため 5 節の結果と単純比較はできないが，裸眼の場合と比べて精度が低くなる傾向が見られた．特にメガネを装着していた場合，角膜反射像を検出できた画像は全体の 18%（5 節では 81%）となり，検出率が著しく低下した．図 9 に示す通り裸眼の場合に比べて環境光やスマートフォ
ンの画面の光がメガネに反射してしまい，瞳に映る反射像が認識しづらくなっていることがわかる．以上より，特にメガネを装着したユーザに対しては，提案手法による把持姿勢の推定が困難であることがわかった．ユーザがメガネを装着している場合には，
8.2 節のように，他の把持姿勢推定手法と組み合わせることが解決策の 1 つとなりうる．

8.4 瞳の色の影響
5 節の実験の参加者は日本人と中国人であり，瞳の色は黒色・黒茶色・茶色のいずれかであった．瞳の色がより明るいユーザの場合，角膜反射像と瞳の他の領域のコントラストが低下し，推定精度が低下する可能性がある．そこで，明るい瞳の色をもつユー
ザを対象にした提案手法の初期的な検証としてライトグレーの瞳の色の実験参加者（フランス人）を対象に，8.3 節と同様のアプリを用いてデータ収集実験を実施した．合計で 360 枚の画像（各把持姿勢につき 60 枚）を収集し，モデルの実装を行ったとこ
ろ，推定精度は 82%であり，明るい瞳の色を対象にした場合でも把持姿勢は識別可能であるといえる．
今後は他の瞳の色を含めた，より大人数での実験を行い，提案手法の適用可能性を調査する．

9

結論

本研究ではスマートフォンのフロントカメラで撮影された顔写真を使用し，スマートフォンの画面の角膜反射像を CNN で分類することで，6 つの把持姿勢を識別する ReﬂecTouch を提案した．13 名の実験参加者を対象にして提案手法の精度を検証する
実験を行い，85%の精度で識別できた．

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定

謝辞
本研究の一部は JST さきがけ（課題番号：JPMJPR2134）の助成を受けたものである．

参考文献[1] J. Avery, D. Vogel, E. Lank, D. Masson,and H. Rateau. Holding Patterns: Detecting Handedness with a Moving Smartphone at
Pickup. In Proceedings of the 31st Conference
on l’Interaction Homme-Machine, New York,NY, USA, 2019. Association for Computing Machinery.
[2] S. Azenkot and S. Zhai.
Touch behavior
with diﬀerent postures on soft smartphone keyboards. In Proceedings of the 14th international
conference on Human-computer interaction withmobile devices and services, MobileHCI ’12, pp.
251–260, New York, NY, USA, Sept. 2012. Association for Computing Machinery.
[3] S. Berolo, R. P. Wells, and B. C. Amick. Musculoskeletal Symptoms Among Mobile Handheld Device Ssers and Their Relationship to Device Use: A Preliminary Study in a Canadian
University Population. Applied Ergonomics,
42:371–378, Jan 2011.
[4] L.-P. Cheng, H.-S. Liang, C.-Y. Wu, and M. Y.
Chen. iGrasp: Grasp-Based Adaptive Keyboard for Mobile Devices. In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems, p. 3037–3046, New York, NY,
USA, 2013. Association for Computing Machinery.
[5] R. Eardley, A. Roudaut, S. Gill, and S. J.
Thompson. Understanding Grip Shifts: How
Form Factors Impact Hand Movements on Mobile Phones. In Proceedings of the 2017 CHI
Conference on Human Factors in Computing
Systems, p. 4680–4691, New York, NY, USA,2017. Association for Computing Machinery.
[6] R. Eardley, A. Roudaut, S. Gill, and S. J.
Thompson.
Investigating How Smartphone
Movement is Aﬀected by Body Posture. In Proceedings of the 2018 CHI Conference on Human
Factors in Computing Systems, No. Paper 202
in CHI ’18, pp. 1–8, New York, NY, USA, Apr.
2018. Association for Computing Machinery.
[7] M. Goel, J. Wobbrock, and S. Patel. GripSense:
Using Built-in Sensors to Detect Hand Postureand Pressure on Commodity Mobile Phones. In
Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology, p. 545–554, New York, NY, USA, 2012. Association for Computing Machinery.
[8] J. Grubert, E. Ofek, M. Pahud, M. Kranz,
and D. Schmalstieg. GlassHands: Interaction
Around Unmodiﬁed Mobile Devices Using Sunglasses. In Proceedings of the 2016 ACM International Conference on Interactive Surfaces andSpaces, p. 215–224, New York, NY, USA, 2016.
Association for Computing Machinery.

[9] M. X. Huang, J. Li, G. Ngai, and H. V. Leong.
ScreenGlint: Practical, In-situ Gaze Estimation
on Smartphones. In Proceedings of the 2017
CHI Conference on Human Factors in Computing Systems, pp. 2546–2557. Association for
Computing Machinery, New York, NY, USA,May 2017.
[10] Huawei. Knuckle screenshots, 2019.
[11] K. Ikematsu, H. Oshima, R. Eardley, and
I. Siio. Investigating How Smartphone Movement is Aﬀected by Lying Down Body Posture.
Proc. ACM Hum.-Comput. Interact., 4(ISS),nov 2020.
[12] K. Ikematsu and S. Yamanaka. ScraTouch:
Extending Interaction Technique Using Fingernail on Unmodiﬁed Capacitive Touch Surfaces.
Proc. ACM Interact. Mob. Wearable UbiquitousTechnol., 4(3), sep 2020.
[13] K.-E. Kim, W. Chang, S.-J. Cho, J. Shim,
H. Lee, J. Park, Y. Lee, and S. Kim. Hand
Grip Pattern Recognition for Mobile User Interfaces. In Proceedings of the 18th Conferenceon Innovative Applications of Artiﬁcial Intelligence - Volume 2, p. 1789–1794. AAAI Press,
2006.
[14] H. V. Le, T. Kosch, P. Bader, S. Mayer, and
N. Henze. PalmTouch: Using the Palm As
an Additional Input Modality on Commodity
Smartphones. In Proceedings of the 2018 CHI
Conference on Human Factors in Computing
Systems, CHI ’18, 2018.
[15] H. Lim, D. Lin, J. Tweneboah, and C. Zhang.
HandyTrak: Recognizing the Holding Hand on a
Commodity Smartphone from Body Silhouette
Images. pp. 1210–1220. ACM, 10 2021.
[16] M. Löchtefeld, P. Schardt, A. Krüger, and
S. Boring. Detecting users handedness for ergonomic adaptation of mobile user interfaces.
In Proceedings of the 14th International Conference on Mobile and Ubiquitous Multimedia,
MUM ’15, pp. 245–249, New York, NY, USA,
Nov. 2015. Association for Computing Machinery.
[17] C. Nitschke, A. Nakazawa, and H. Takemura.
Corneal Imaging Revisited: An Overview ofCorneal Reﬂection Analysis and Applications.
IPSJ Transactions on Computer Vision and Applications, 5:1–18, 2013.
[18] M. Ono, B. Shizuki, and J. Tanaka. Touch &Activate: Adding Interactivity to Existing Objects Using Active Acoustic Sensing. In Proceedings of the 26th Annual ACM Symposium
on User Interface Software and Technology, p.
31–40, New York, NY, USA, 2013. Association
for Computing Machinery.
[19] C. Park and T. Ogawa. A Study on Grasp
Recognition Independent of Users’ Situations
Using Built-in Sensors of Smartphones. In Adjunct Proceedings of the 28th Annual ACM Symposium on User Interface Software and Technology, p. 69–70, New York, NY, USA, 2015. Association for Computing Machinery.

WISS 2022

[20] D. Schneider and J. Grubert. Towards AroundDevice Interaction Using Corneal Imaging. In
Proceedings of the 2017 ACM International
Conference on Interactive Surfaces and Spaces,
p. 287–293, New York, NY, USA, 2017. Association for Computing Machinery.
[21] R. Wimmer and S. Boring. HandSense: Discriminating Diﬀerent Ways of Grasping andHolding a Tangible User Interface. In Proceedings of the 3rd International Conference on
Tangible and Embedded Interaction, p. 359–362,
New York, NY, USA, 2009. Association for
Computing Machinery.
[22] J. O. Wobbrock, B. A. Myers, and H. H. Aung.
The performance of hand postures in front- andback-of-device interaction for mobile computing. Int. J. Hum.-Comput. Stud., 66(12):857–
875, Dec. 2008.
[23] D. H. Yoo, J. H. Kim, B. R. Lee, and M. J.
Chung. Non-contact Eye Gaze Tracking System
by Mapping of Corneal Reﬂections. pp. 101–
106. IEEE, 2002.
[24] H. Yoo, J. Yoon, and H. Ji. Index Finger Zone:
Study on Touchable Area Expandability Using
Thumb and Index Finger. In Proceedings ofthe 17th International Conference on HumanComputer Interaction with Mobile Devices andServices Adjunct, p. 803–810, New York, NY,

USA, 2015. Association for Computing Machinery.
[25] D. Yoon, K. Hinckley, H. Benko, F. Guimbretière, P. Irani, M. Pahud, and M. Gavriliu.
Sensing Tablet Grasp + Micro-Mobility for Active Reading. In Proceedings of the 28th Annual ACM Symposium on User Interface Software and Technology, p. 477–487, New York,NY, USA, 2015. Association for Computing Machinery.
[26] C. Yu, X. Wei, S. Vachher, Y. Qin, C. Liang,
Y. Weng, Y. Gu, and Y. Shi. HandSee: Enabling Full Hand Interaction on Smartphonewith Front Camera-Based Stereo Vision. In
Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, p. 1–13,
New York, NY, USA, 2019. Association for
Computing Machinery.
[27] X. Zhang, K. Ikematsu, K. Kato, and Y. Sugiura. ReﬂecTouch: Detecting Grasp Posture of
Smartphone Using Corneal Reﬂection Images.
In CHI Conference on Human Factors in Computing Systems, CHI ’22, New York, NY, USA,2022. Association for Computing Machinery.
[28] 張翔, 池松香, 加藤邦拓, 杉浦裕太. 角膜反射を利用したスマートフォンの把持姿勢推定. エンタテ
インメントコンピューティングシンポジウム論文集, pp. 58–61, 2021.