WISS 2018

ラップトップコンピュータにおけるタッチパッド操作を行う指の左右識別システム
中村 拓人 ∗

志築 文太郎 †概要. ラップトップコンピュータのタッチパッド上におけるユーザの手の左右を識別するシステムを示す．
提案システムでは，ノート PC のディスプレイ上部に搭載されたインカメラを用いてタッチパッド周辺の画像を取得し，画像処理を行うことによってタッチパッドに触れている指が左右どちらの手に属するかを識別する．このため追加のセンサを必要としないという特長を有する．

1

はじめに鏡固定具

キーボードに手を置いたまま各種の操作が行えれば便利である．我々は，多くのラップトップコンピュータ（以降，ノート PC）がタッチパッドおよびインカメラを搭載していることに着目し，ノート
PC のタッチパッド上におけるユーザの手の左右を識別するシステムを示す．提案システムでは，ノート PC のディスプレイ上部に搭載されたインカメラを用いてタッチパッド周辺の画像を取得し，画像処理を行うことによってタッチパッドに触れている指が左右どちらの手に属するかを識別する．このためLeap Motion や Kinect などの追加のセンサを必要としないという特長を有する．

2するシステムソフトウェア

タッチパッド領域認識用
マーカシール
背景色固定用マット

図 1. システム使用時の全体図

関連研究キーボードに手を置いたまま各種の入力を行えるようにする方法が幾つか提案されている．ThumbSense[4] はタッチパッドに指が触れている間キーボードの特定のキーをマウスボタンやホイールキーとして機能させることにより，手をキーボードのホームポジションに置いたままタッチパッドを使ってマウス操作を行うことを可能としている．高田ら [3] はキーボードの F キー，J キーを連続して押下し，その後 J キーを押下したまま F キーから指を離すという一連の操作を開始符号とし，キーボード上の左手が置かれる領域周辺のキーを用いてポインティング操作が行え，右手が置かれる領域周辺のキーを用いてクリック操作が行えるシステムを提案している．
Athalye[1] はノート PC のインカメラに鏡を取り付け，ユーザの指とディスプレイに反射して映る指を認識し，それらの距離を基にディスプレイへのタッチを認識するシステムを開発した．一方，提案手法は，タッチパッドを操作する指が左右どちらの手に
Copyright is held by the author(s).
筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻†
筑波大学システム情報系∗

ユーザの手の左右を識別

鏡

図 2. 3D プリントにて製作した鏡固定具

属するものかを識別するためにノート PC のインカメラを用いている点において異なる．

3実装

システム使用時の全体象を図 1 に示す. 今回の実装ではノート PC として MacBook Pro（Apple，13-inch，2017）を使用した．ノート PC に搭載されたインカメラにてキーボードおよびタッチパッド周辺の画像を取得するためにインカメラに鏡を取り付けた．また，鏡を固定するため 3D プリントにて固定具（図 2）を製作した．この固定具によりノートPC に取り付けられた鏡の傾きは 0◦ –120◦ の範囲にて自由に変更可能である．インカメラに映る範囲内に手の肌色と近い色の物体が存在すると手の認識が正しく行えないため，ノート PC の下に背景色固定用マット（セイワ・プロ，カラートイレマット，40529，黒色）を敷いた．さらに，タッチパッドの領域を画像処理にて認識するためにタッチパッドの四隅にマーカとなる赤色のシール（モリトク，カラーWISS 20184

応用例

提案システムの応用として，通常のポインティング操作を右手に割り当て，画面のスクロール操作を左手に割り当てた．テキストの編集時，ユーザはキーボードのホームポジションに手を置いたまま文字列の選択操作とスクロール操作を行うことができる．

5
図 3. タッチパッドに触れている指の左右識別処理を行うソフトウェアのスクリーンショット

タッチパッド領域
タッチ点

親指の付け根提案手法ではノート PC のインカメラを用いているが，カメラの露出や明るさが自動で変化する仕様であること，環境光による影響を強く受けることの2 点により，ユーザの手の認識をする際に行う肌色検出が安定しない．また，肌色に近い色の物体がカメラに映り込むと，ユーザの手のみを正しく認識することができないため，ノート PC を置く机の表面の色は肌色に近い色を避ける必要がある．更に，現実装ではタッチパッド領域の認識のためにタッチパッドの四隅にマーカとなる赤色のシールを貼っている．
今後はこれらの課題を画像処理アルゴリズムを改良することによって解決する必要がある．

6

小指の付け根図 4. 抽出した手の領域の左右の識別シール，NMBS-31E，直径 5mm，半円になるようにカットしたもの）を貼った．
タッチパッドに触れている指の左右識別処理を行うソフトウェアを macOS において動作するアプリ
ケーションとして実装した（図 3）．本ソフトウェ
アは，MultiTouchSupport.framework によりタッチパッドに対する指の接触，およびタッチ点の座標を取得している．
指の左右識別処理の手順を示す．まず，タッチパッドに対する指の接触を検出した際，タッチパッド領域上におけるタッチ点の座標を取得し，同時にインカメラよりタッチパッド周辺の画像を取得する．続
いて，取得した画像からタッチパッド領域と手の領域を抽出する（手の領域の抽出には Song ら [2] のアルゴリズムを用いた）．ここで，抽出した手の領域における，親指の付け根と小指の付け根の中心のx 座標とタッチパッド領域の中心の x 座標を比較し，抽出した手の領域の左右の識別を行う（図 4）．取得したタッチ点の座標を画像内のタッチパッド領域上に射影変換した座標と，抽出した手の領域の包含関係からタッチ点と手を対応付ける．

課題

まとめと今後の展望

ノート PC のディスプレイ上部に搭載されたインカメラを用いて，タッチパッドに触れている指が左右どちらの手に属するかを識別するシステムを示した．
今後は，提案手法に手形状認識アルゴリズムを組み込むことによって，操作に用いられた指を識別可能にすることを考えている．また，本手法はタッチパッドのみならずキーボード上の手の左右も識別することが可能である．したがって，将来は，キーがタイプされた際にどの指が用いられたのかを識別できるようにし，またこれを利用してタイピング矯正ソフトウェアを作成することを考えている（例：人差し指によってタイプされるべきキーが他の指によってタイプされた場合に警告音を鳴らす）．

参考文献[1] Athalye. Turning a MacBook into a Touchscreenwith $1 of Hardware. https://www.anishathalye.com/2018/04/03/macbook-touchscreen/(2018 年 7 月 31 日最終閲覧).
[2] Song, Sörös, Pece, Fanello, Izadi, Keskin, andHilliges. In-air Gestures Around Unmodified Mobile Devices. UIST ’14, pp. 319–329. ACM, 2014.
[3] 高田崚介, 志築文太郎, 高橋伸. キーボード上における 2 つのキーの連続押下を開始符号とする操作手法. 情報処理学会研究報告, 第 2016-HCI-168 巻,pp. 1–6. 情報処理学会, 2016.
[4] 暦本純一. ThumbSense: タッチパッド用対話技法の提案. 第 9 回インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2002), pp.
55–60. 日本ソフトウェア科学会, 2002.