スマートフォンを動かし指に接触させるタッチ手法の改良と実装
理学専攻 情報科学コース 1940648 下田 寛子

1

はじめにめ，学習データセットとしてタッチ直前の 200 ms の内蔵センサデータを用いることにした．また, センサデータのサンプリングレートに関しても再検討し，本論文の実験で使用する端末 (iPhone X) 内蔵の三軸加速度とジャイロセンサが更新可能な最大周波数の 100
Hz にて取得することにした2 ．

近年，スマートフォンやスマートウォッチなどのタッチサーフェスを実装した端末 (以下，タッチ端末もしくは端末) は広く普及した．通常，タッチ端末におけるタッチ入力では，ユーザは端末に向けて指を動かし,画面に振れることでタッチ入力を行う．一方で，端末を指の方向に動かしタッチ入力を行い, この動作を通常のタッチ入力と識別することでタッチ入力語彙を拡張する手法として Copernican-Touch [1] が提案されている．
Copernican-Touch では，指または端末を動かすタッチの識別に，デバイス内蔵の加速度センサ及びジャイロセンサ (以下，センサ) を利用する．機械学習によりタッチ直前 500 ms のセンサデータを分類した結果，スマートフォンでは 87%の精度で両タッチを識別可能であることが示されている．しかし，学習用・テスト用共に全被験者データを用いた学習モデルは汎用性が低く，またタッチ直前 500 ms のデータは，タッチ動作に入る以前の動作の影響を受ける可能性がある．本
論文では，センサデータから両タッチを識別するための特徴量を再検討し，iOS の Core ML フレームワー
ク上に分類器を実装した．また，両タッチにより操作モードを切り替える iOS アプリケーションを作成し評価した．

22.2

特徴量

センサデータの取得には OS の Core Motion フレー
ムワーク3 を使用した．これにより，iPhone X の内蔵センサから，タッチ直前 200 ms の端末の加速度 (x,y, z) および角速度・姿勢 (pitch, roll, yaw) を 100 Hzのサンプリングレートで取得した．得られた加速度，角速度，姿勢のそれぞれの値，加速度，角速度のスカラー値に対して，それぞれ 200 ms 間の平均値・最大値・分散を算出した．さらに，これらのデータにつき10ms 前（1 個前のサンプル値）との差分を取り，それらの平均値・最大値・分散値を算出した．これらの特徴量を使用し機械学習を行った.

2.3

機械学習

学習に用いるセンサデータは，画面のランダムな場所にターゲットを表示し，これに指または端末を動かしてタッチする指示をランダムに与える予備実験により収集した．被験者は 17 名（男性 3 名, 女性 14 名, 平
均年齢 36.1 歳, 標準偏差 15.5）である．それぞれが片手 (左手 15 名，右手 2 名) にスマートフォンを把持し，把持しない側の手で画面タッチ操作を行なった．取得したデータ（被験者一名あたり各タッチにつき 270 回）から，無作為に選出した 15 名分のデータセットを分類器生成に使用し，残り 2 名分のデータセットで分類器のテストを行った．この結果，分類器生成時のトレーニングスコアは平均 98.7% (標準偏差 0.8) であり，先行研究での 87%を上回る結果が得られた．

タッチの識別

指を動かすタッチと端末を動かすタッチ動作を識別するにあたり, 先行研究 [1] と同様にタッチ発生直前のセンサデータを取得し，これを学習データセットとして特徴量を抽出し，機械学習により分類器を作成する．この分類器をタッチ端末アプリケーションに組み込むことで，両タッチによる操作モード切り替えを実装できる．

2.1(指導教員：椎尾 一郎)

取得データ

2.3.1

先行研究では，タッチ直前の 500 ms のセンサデータを学習データとして採用した．この時間領域は， シングルタップとダブルタップ判定時間として一般である1 ことから採用された．筆者らは 500 ms のデータにはタッチ動作以前の端末の動きが記録される可能性があると考えた．そこで，タッチ直前の 100, 200, 300,400, 500 ms のデータを用いて識別を試みた．その結果，200 ms において最も高い識別精度が得られたた

クロスバリデーション

次に，全被験者データを学習用・パラメータ評価用・テスト用に分けて学習を行った．本研究ではデータセットの分割方法に leave-one-user-out-cross-validation を採用した．これは１被験者のデータ群を学習・評価・テストデータセットのいずれか１つに振り分けて学習を行い，分類器生成時に利用したデータセットに含まれない被験者データを用いてテストを行う．このテストスコアが汎用的な精度となる．
今回，生成された分類器のテストスコアは平均 91.1%(標準偏差 5.3) であり，被験者ごとに精度のばらつきが見られた. これは操作方法の個人差が原因と考えられる． 実験時の観察においても，提案手法のタッチに際して，手首を曲げて画面を傾ける様に動かし指に押し当てる動作， 腕全体を動かし画面垂直方向に動かす動作などが観察された．こうした操作方法の個人差

図 1: (a) 端末を動かす (b) 指を動かすタッチ (引用元[1])2 https://developer.apple.com/documentation/
coremotion/getting_raw_accelerometer_events
3 https://developer.apple.com/documentation/
coremotion/getting_processed_device-motion_data/
understanding_reference_frames_and_device_attitude

1 https://docs.microsoft.com/ja-jp/windows/win32/
controls/ttm-setdelaytime1による性能差異は, 個人ごとにデータセットを用意しモデルを生成することで低減可能であると考えられる.
また，被験者全員の共通モデルにおいても, データ量を増やすことで更なる精度向上が見込まれる．

3

アプリケーション実装

前節で生成した機械学習によるモデルを iOS の CoreML フレームワークに移植し, 指または端末を動かすタッチにより，端末操作モードを切り替えるアプリケーションを iPhone X (iOS 13.51) 上に実装した．端末を動かすタッチはダブルタップやロングプレスなどに代表されるショートカット起動操作として利用できる．
端末を動かすために身体的負荷とポインティングが不正確になる可能性があるものの，明示的な待機時間が不要になる．

3.1

図 3: 各操作の平均操作時間及び標準偏差．
した．そして，従来の指を動かしタッチする操作方式と今回試作したアプリケーションにより，Web ブラウ
ザで閲覧中の URL をコピー，テキストの全選択，スクリーンショットした画像をトリミングする 3 操作のタスクを行なった．このタスクを従来の操作方式で行うためにはダブルタップ，スワイプ，メニュー選択，電源・音量ボタン同時押しなどの操作が必要である．参加者は事前に各アプリケーションの操作を数分間練習した. また, すべてのタスク完了後に, 各方式に関して，難易度・早さ・成功率・正確性・快適さを 7 段階評
価し，端末を動かすタッチの操作性について，SystemUsability Scale(SUS)[2] を評価した．
参加者全員が 1–2 分程度の練習で端末を動かすタッチを習得することができた．従来方式と端末を動かすタッチで行った 3 つの操作に対する 7 段階の主観的評
価結果を図 2 に記す．操作完了までのタッチ回数が少なくなるのが快適かつ容易に感じられた，数分ほど触るとタッチ操作に慣れ，使いこなせそうだという好意的な意見が寄せられた. SUS スコアは，従来方式に対して平均 57.8 点であったのに対し，端末を動かすタッチ操作は平均 75.6 点であった．これは, Bangor らの受容性評価に照らし合わせると, 好ましい評価（70-100点）に該当する.

Web ブラウザ操作

Web ブラウザに本機能を組み込んだ．すなわち，通常のタッチ操作においてはタッチ位置上の対象コンポーネントを選択し，画面遷移などを行う．一方で，端末を動かすタッチにより，マーキングメニューをタッチ点を中心に表示し，タッチ後の上下方向のフリック操作により，閲覧中のページをブックマークに追加する，URL をクリップボードにコピーするなどの操作を実装した．
3.2

テキスト編集操作

テキスト選択操作に本手法を適用した．テキストボッ
クス内で，通常のタッチ操作では表示画面のスクロールを行い，ダブルタップにより部分的にテキストを選択するが，端末を動かすタッチによりテキスト全体を選択する操作を実装した．

3.3

スクリーンショット

通常のタッチ時は画面のスクロールを行い，端末を動かすタッチにより，表示画面が固定されスクリーンショットを起動するアプリケーションを実装した．タッ
チ後指を離さずにドラッグ操作を行うことで，画面上を部分的に選択する．指を離した位置で選択範囲が決定されトリミングした画像を出力する．

44.1

操作所要時間

3 つの操作完了までにかかった時間を図 3 に示す．今回実験を行った 3 操作において，いずれも従来操作よりも短い平均時間で操作が完了した．中でもスクリー
ンショットのトリミング操作は，参加者全員が従来操作に比べて平均 6.1 sec (標準偏差 1.2) 速く完了することができた.

ユーザ体験評価

実装した応用例を日常的なスマートフォン利用経験がある 8 名の被験者 (男性 2 名, 女性 6 名, 平均年齢35.8 歳, 標準偏差 15.0) に試してもらい, 操作完了時間の測定およびアンケート調査を行った．参加者は座ったまま，片手で端末を把持し，反対の手で画面を操作

5まとめ指を動かすタッチと端末を動かすタッチを識別する
先行研究の手法の改良を行い，スマートフォン上でアプリケーションを実装し，評価した．今後は，片手操作においても，指または端末を動かすタッチ識別を実現したい．またタッチに加えて，指を動かすドラッグと端末を動かすドラッグも識別することで，操作のモダリティをさらに増やせると考えている．

参考文献[1] 池松香, 山中祥太, 坪内孝太, 椎尾一郎. Copernicantouch: タッチサーフェスを指へ向けて動かし接触させる
タッチ入力拡張技法. コンピュータ ソフトウェア, Vol. 36,
No. 3, pp. 20–32, 2019.
[2] Aaron Bangor, Philip T. Kortum, and James T.
Miller. An empirical evaluation of the system usability scale. International Journal of Human–ComputerInteraction, Vol. 24, No. 6, pp. 574–594, 2008.

図 2: 両タッチ操作時の主観的評価平均値及び標準偏差．

2