Yubios: 指先画像を用いた任意面に対する指先力の検出
小岩川井修
大平†輔†

杉佐田藤尚宏基†††介†

本稿は，片手 5 本の指先に加えた力とその方向を利用したインタフェースに関する研究報告である．指先を硬物体に対して押し付けると，爪の色模様が変化する．そこで，カメラを用いて手指を撮影し，画像処理により指先の色模様変化を検出することで指先の押下判定を行う．また，押下時の指先重心位置の変化により押下方向を検出する．入力装置としてカメラを用いることで，日常空間のあらゆる面を介してディスプレイとのインタラクションを行うことが可能となり，さらに，指先の押下だけでなく押下方向も検出することで，入力自由度の高いインタフェースを実現する．

Yubios: Detection of fingertip force against an arbitrary surface
with a fingertip image
Shuhei Ogawa,† Naoki Sugita,††† Daisuke Iwai†
and Kosuke Sato†In this paper, we present an interface which leverages forces of each five fingers of one’shand. When a human finger is pressed onto a hard object, the coloration pattern of a fingernail changes. The change of the coloration pattern is visible to the naked eye and can bemeasured using computer vision techniques. There is no need to limit the contact surface
of a fingertip like touch panel and touch display by using a camera as an input device. In
addition, the degree of freedom of the interface increases by detecting not only press but alsopress direction.

1. は じ め にた力とその方向を利用した新たな入力インタフェースを提案する．提案システムのコンセプトは，日常空間

人間は指に加える力を微妙に制御することで，様々のあらゆる面に対し指先を押し付けることで，ディスな道具を自在に操り文明を発展させてきた．近年ではプレイとのインタラクションや 10 フィート UI に見ら

Microsoft Surface や Apple iPad など多くのタッチれるような機器の遠隔操作を手元で行うことである．

ディスプレイに代表されるように，指を用いてディス本手法ではカメラを用いて押下時の指先画像の色模様

プレイに表示された映像に対し直接的かつ直感的に操変化を検出し，指先押下判定を行う．インタフェース作を行うことのできるインタフェースが増加している．の入力デバイスとしてカメラを用いることで日常空間

しかし，これらのタッチディスプレイは入力がディスプのあらゆる面をインタフェースの入力とすることが可

レイと指先との接触に限られており，指先に加える力能となり，タッチパネルやタッチディスプレイのようを自由に制御することのできる人間の能力を十分に活に指先との接触面を限定する必要がなくなる．また，用しているとは言い難い．また，接触判定可能な範囲接触時の指先画像の指先重心位置の変化により，5 本がタッチパネル上に限定されるといった問題点がある．の指の押下および押下方向を検出し，インタフェース

そこで筆者らは，片手 5 本の指それぞれの指先に加えの入力として用いることで，ディスプレイに表示され† 大阪大学基礎工学部
School of Engineering Science, Osaka University†† 大阪大学 大学院基礎工学研究科
Graduate School of Engineering Science, Osaka University††† 大阪大学（現ソニー株式会社）
Osaka University ( now Sony Corporation )たアバターハンドの操作のような入力自由度の高い操作を行うことが可能となる（図 1）．

2. 関 連 研 究
指先に加わる力，およびその方向の推定は，従来から研究が行われている．J.Marshall らは，人間の指が情報処理学会 インタラクション 2011
PC
CameraPress
Down
Finger Force

Display

Coloration Pattern Change

HandabcdAvatar Hand

図 2 上：鉛直下方向押下時の指先色分布変化 下：押下方向変化
時の指先位置移動（(a) 前 (b) 後 (c) 左 (d) 右)
図 1 システムのコンセプト

硬物体に押し付けられたときの爪の色分布が体系的に域が赤みを帯びた肌色を呈する領域と，白濁色を呈す変化することを利用し，指先に加わる力の検出を行っる領域に分割される（図 2）．従って，非押下時と比較ている1) また，Mascaro らは一定の照明条件の下でして押下時の指先領域は非肌色の輝度値の分散が増加

指先画像を取得できる装置を製作し，画像から指先にすると予想される．そこで，非肌色の指標として YIQ加わる 3 軸の力方向と指の関節角を推定することに成

表色系における Q 値を用い，Q 値の分散変化をカメ功した2) ．さらに，Yu Sun らは指先の配色パターン

ラで撮影した指先画像から取得することにより，指先を EigenNail と名付けた固有画像に主成分分析を用いの押下を判別可能であると考えられる．また，指腹部て分解し，指先に加わる力を 6 種類（力ゼロ, 鉛直方を硬物体に接触させながら任意の水平方向に力を加え向, 左右横方法せん断力, 前後縦方向せん断力) に分類

ると，力を加えた方向に指爪部が移動する．これをカした3) ．しかし，これらは特殊な装置が必要であった

メラで指爪上部から撮影すると，キャプチャ画像中でり，厳しい照明条件が課せられているため日常空間では指先位置が押下力方向に移動したと認識できる．この使用には適さない．そこで，本研究では杉田らの研の指先の性質を利用し，押下方向推定を行う．

究4) に注目した．杉田らの研究では，一般に普及して3.3 指先押下・押下方向検出アルゴリズム

いるカメラを用いて，拇指，小指を除く指先の押下判

次に，指先の押下および押下方向検出のためのアル定，および方向推定を行うことが可能となっている．

ゴリズムを以下に述べる．

本研究ではこれを片手 5 本の指に拡張することで，自(1)由度の高いインタフェースを実現する．

施し，肌色領域を得る．得られた肌色領域のうち面積値最大の領域を手領域とし，手領域のマ

3. 提案システム
本研究の目的は，指先を硬物体に対して押し付けた肌色らしさを用いてキャプチャ画像に 2 値化をスク画像を取得する．

(2)

マスク画像から指先位置を検出する．注目画素

際の力とその方向を画像処理によって認識し，得られを中心とする n×n の矩形領域内の手領域と判た指先の力を利用したインタフェースを実現すること定された画素数を求め，その画素数が矩形領域である．3.1 では，本システムのハードウェア構成にの大きさに対して規定の範囲内であれば指先でついて，3.2 では，指先押下判別のベースとなる原理あると判定する．
（図 3(b)）について，さらに 3.3 では，指先押下・押下方向判別(3)のアルゴリズムについて具体的に述べる．

3.1 ハードウェア

検出された指先位置から，指先の方向とサイズを取得し，指先領域を決定する．
（図 3(c)）(4)

得られた指先領域の各画素から，YIQ 表色系にシステム実装に用いるハードウェアは，PC(CPU:おける Q 値を取得しその分散を調べる．得らIntel Core i5-430M 2.26GHz) と Web カメラ (200 万

れた分散値にはノイズが含まれるため，これを画素 CMOS センサ) である．

カルマンフィルタを用いて除去する．

3.2 指先押下判別手法
人間の爪領域の色模様は，通常ほぼ一様に肌色を呈するのに対し，指先を硬物体に押し付けた場合，爪領(5)得られた各指先領域の分散値から，押下判定を行う．また，押下時の指先重心の移動量に応じて押下方向を推定する．
（図 3(d)）Yubios: 指先画像を用いた任意面に対する指先力の検出

baTargetDisplacementPointcd

図4
図3(a) キャプチャ画像 (b) 指先位置検出 (c) 指先領域検出 (d)指先の押下および押下方向検出

Force

タスク：静止目標点への移動動操作を行う作業を 1 セットとし，右手の拇指から小指までの各指で 1 セットずつ行う．

(4)

4. 各指の指先力制御の容易さの検証
本研究で提案するインタフェースは拇指から小指ま被験者が操作するポイントが目標点まで到達するのに要した時間と，ポイントの軌跡を記録する．

4.2 実験結果と考察

での 5 本の指から得られた力およびその方向を利用タスクごとに全被験者が各目標点への移動に要したする．人間は道具を扱う際，各指を均等に使うわけで平均時間の箱ひげ図を図 5 に示す．結果より，示指，はない．それぞれの指には役割があり上手に使いこな

中指，拇指，薬指，小指の順でタスク遂行に要した時すことで複雑な操作を可能としている．したがって本間が短い．また，代表的な被験者のポイント操作の移インタフェースにおいても，複数の指を用いた操作を動軌跡を図 6 に示す．図 6 より，薬指，小指と比較し行う場合，各指の力を均等に利用するのではなく，指て示指，中指でのポイント操作は，目標点に対してよごとの指先力制御の容易さに従って指先力に重みづけり直線的な軌跡を描いている．以上より，示指，中指し，インタフェースの入力として利用する方が合理的は他の指と比較して，指先に加える力を制御することであると考えられる．そこで，指ごとの指先力制御のが容易であるといえる．

容易さの違いを検証する実験を行った．以下にその詳細を述べる．

4.1 実 験 方 法
被験者（20 代の男性 8 人，女性 1 人）に，3 章で提案したシステムを用いて以下のタスクを行わせた．
タスク：静止した目標点へのポイント移動
指先に加えた力の方向によってディスプレイ中のポイントを操作し，静止目標点まで移動させる (図 4）．実
験手順を以下に示す．

(1)

あらかじめ被験者に対し，システムの使用法を

図 5 静止目標点へのポイント移動に要した時間伝えたうえで，指先に加えた力の方向によるポインティング操作の練習を行わせ，練習後タスクを開始する．

(2)

ディスプレイ中に表示されたポイントを操作し，5. アプリケーション静止した目標点まで移動させる．目標点の出現位置は，被験者が操作するポイントの開始位置から，等距離か

本研究では，実空間中の任意の面においた 5 本のつ方向の異なる 8 種類の点（右，右上，上，左上，左，指先から得られた力を利用し，ディスプレイ中のアバ左下，下，右下）とし，8 種類の目標点はランダムにターハンドを操作するアプリケーションを作成した．

表示されるとする．

本アプリケーションでは，片手 5 本の指先に加えた力(3)8 種類すべての目標点に対して，ポイントの移とディスプレイ中のアバターハンドの各指の曲げ角度を対応させた．
（図 7）

情報処理学会 インタラクション 2011abtarget

Non-Push
Push
Force
Direction

starting pointcde

図 6 代表的な被験者のポイント移動軌跡 (a) 拇指 (b) 示指 (c)
中指 (d) 薬指 (e) 小指

6. まとめと今後の課題
本稿では，カメラを用いて，実空間中の任意の面に対して加えた片手 5 本の指先の力およびその方向を認識する手法について述べた．また，人間の各指の役割は均等ではないと仮定し，指ごとの指先力制御の容易さの違いを見るための実験を行った．実験結果より，ポインティング操作において，各指の指先力制御の容

図 7 指先に加えた力によるアバターハンド操作易さに違いが見られた．今後は実験結果に基づいて各指の指先力に重みづけし，設定した重みに基づいて複数の指先力を組み合わせた実験を行うことで，人間がどこまで正確に指先の力を制御することができるかを検証し，ユーザビリティの向上につなげたい．また，圧力センサ等を用いて現行システムの精度評価を行うことで，指先押下検出精度の向上を図りたい．

参 考

文献1) Joe Marshall, Tony Pridmore, Mike Pound,
Steve Benford and Boriana Koleva: Pressing
the Flesh: Sensing Multiple Touch and Finger
Pressure on Arbitrary Surfaces. In Proc. of Pervasive, pp.38-55 (2008).
2) Stephen A. Mascaro, H. Harry and Asada:
Measurement of FingerPosture and Three-Axis
Fingertip Touch Force Using Fingernail Sensors. IEEE Transactions on Robotics and Automation,Vol.20, Issue 1, pp.26-35 (2004).

3) Yu Sun, John M.Hollerbach and Stephen A.
Mascaro.: Finger Force Direction Recognition
by Principal Component Analysis of Fingernail
Coloration Pattern. Second Joint EuroHaptics
Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, pp.90-95 (2007).
4) 杉田尚基, 佐藤宏介, 爪画像を用いた指先の押下方向推定によるインタラクティブサーフェス, 第52 回自動制御連合講演会, E6-4, pp. 1-6, 2009.